希望用Python抓取天猫当中的商品属性
如：材料 货号 腰型 等
抓取天猫商品的属性 如:材料 货号
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
threenewbee 2018-08-21 15:18关注浏览器中按下f12，切换到network（网络面板）
点击捕获
然后按f5刷新这个页面，等请求加载完成，停止找到这个页面数据的请求，看请求的地址、方式（post/get）、cookie、user-agent
在你的python爬虫程序（比如scrapy）里照着模仿这样可以得到html/json
再用正则表达式提取其中你要的部分，如:材料 货号
解决 无用评论 打赏举报 分享
- 2016-10-06 03:24回答 3 已采纳 可能是Ajax异步加载的。需要用selenium等模拟浏览器
- 2022-01-07 16:37回答 2 已采纳 建议使用requests,添加参数headers,cookies，params,这样试一下。
- 2022-06-04 10:47回答 1 已采纳 import sqlite3 import re import requests from lxml import html findlink = re.compile(r'<a href=
- 2020-11-27 22:47weixin_39786617的博客 ...]) # info = OrderedDict() # 存放该商品所具有的全部信息 # info = get_headdetail2(url) # 下面三条语句获取描述、服务、物流的评分信息 # 下面的语句用来判断该商品具有哪些属性，如果具有该属性，将属性值...
- 2023-02-13 09:35回答 4 已采纳 使用stream参数和iter_content方法 s="" resp=requests.get(url,stream=True) print(resp.headers) for chunk in r
- 2021-03-06 19:08回答 1 已采纳 import os import requests import re import time import random if __name__ == "__main__" : # 创
- 2019-07-02 18:16回答 1 已采纳 没用过select，但看样子是这样用的 ``` from bs4 import BeautifulSoup import requests url = 'http://bj.xiaozhu
- 2022-09-19 14:03古德猫宁的干货的博客 Python技术 爬虫（又称为网页蜘蛛，网络机器人，在 FOAF 社区中间，更经常的称为网页追逐者）；它是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。 如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的...
- 2022-03-02 17:50回答 1 已采纳 把报错贴出来，最简单就是加try, 把错误的值打出来
- 2020-11-13 13:54回答 2 已采纳 看了一下，很明显这些数据都是通过js向后台获取的数据 接口是http://sia.sseinfo.com/noc.gif?WS=10000042&RD=record&SWS=&SWSID=&SWSP
- 2021-11-09 13:05回答 1 已采纳 PIL ,或者pyautogui
- 2019-04-14 17:29weixin_30252155的博客 最近工作中有一个需求，需要爬取天猫商品的信息，整个需求的过程如下： 修改后端广告交易平台的代码，从阿里上传的素材中解析url，该url格式如下： ...
- 2021-11-27 22:00回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
- 2022-09-26 09:05API技术大佬Anzexi58的博客 利用URL语法命令，API 接口获取淘宝天猫，拼多多，1688 商品详情等平台，其他API接口
- 2024-03-14 16:38数据小爬虫的博客 通过调用这个 API，你可以快速获取到商品的详细信息，包括价格、标题、图片、库存等。通常，这可能涉及到注册一个开发者账号，获取 API 的密钥或 token，并遵循相应的 API 使用协议。此外，确保你遵守了 API 的使用...
- 没有解决我的问题, 去提问
