3条回答 默认 最新
- CSDN专家-showbo 2021-10-28 15:35关注
我这里跑没问题,题主代码出来看下,print(html)题主检查过有数据?有些时候反扒返回的也是html代码,但是不包含数据在里面的
import csv #用于把爬取的数据存储为csv格式,可以excel直接打开的 import time #用于对请求加延时,爬取速度太快容易被反爬 from time import sleep #同上 import random #用于对延时设置随机数,尽量模拟人的行为 import requests #用于向网站发送请求 from lxml import etree #lxml为第三方网页解析库,强大且速度快 url = 'http://yz.yuzhuprice.com:8003/findPriceByName.jspx?page.curPage=1&priceName=%E7%BA%A2%E6%9C%A8%E7%B1%BB' headers = { 'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36", } page = requests.get(url, headers=headers, timeout=10) page.raise_for_status() html = page.text parse = etree.HTML(html) #解析网页 all_tr = parse.xpath('//*[@id="173200"]') for tr in all_tr: tr = { 'name': ''.join(tr.xpath('./td[1]/text()')).strip(), 'price': ''.join(tr.xpath('./td[2]/text()')).strip(), 'unit': ''.join(tr.xpath('./td[3]/text()')).strip(), 'supermaket': ''.join(tr.xpath('./td[4]/text()')).strip(), 'time': ''.join(tr.xpath('./td[5]/text()')).strip() } print(tr)
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 神经网络怎么把隐含层变量融合到损失函数中?
- ¥30 自适应 LMS 算法实现 FIR 最佳维纳滤波器matlab方案
- ¥15 lingo18勾选global solver求解使用的算法
- ¥15 全部备份安卓app数据包括密码,可以复制到另一手机上运行
- ¥15 Python3.5 相关代码写作
- ¥20 测距传感器数据手册i2c
- ¥15 RPA正常跑,cmd输入cookies跑不出来
- ¥15 求帮我调试一下freefem代码
- ¥15 matlab代码解决,怎么运行
- ¥15 R语言Rstudio突然无法启动