py小bai 2021-07-02 15:30 采纳率: 81.3%
浏览 56
已采纳

求救py爬虫Xpath 子节点返回为空

div父节点可以返回数据,下面的div则返回空值和td 和 th无法提取数据,烦请老师看看 修改下代码。

import requests
from lxml import etree
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
html='https://xyq.cbg.163.com/equip?s=266&eid=202106282000113-266-IUMXACKP7NC3&o&equip_refer=1&view_loc=overall_search|%7B%22tag%22%3A%20%22softmax_fm_slim_with_c_h_price_pdg%22%7D%27'
res=requests.get(url=html,headers=headers)
tree=etree.HTML(res.content,etree.HTMLParser(encoding='gbk'))#解析器加入中文解码
r1=tree.xpath('.//div[@class="tabs"]/ul/li/text()')
r2=tree.xpath('.//div[@class="tabCont" and @id="role_info_box"]')
r3=tree.xpath('.//div[@class="subTab"]')
print(r1)
print(r2)
print(r3)

img

  • 写回答

1条回答 默认 最新

  • CSDN专家-黄老师 2021-07-02 23:12
    关注

    你用requests请求的,响应内容不能看开发者的elements标签的,你要看network的doc,如图

    img

    最简单解决方法是用selenium打开网页,然后获取网页内容再获取数据

    如果对你有帮助,可以点击我这个回答右上方的【采纳】按钮,给我个采纳吗,谢谢

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥16 mybatis的代理对象无法通过@Autowired装填
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示
  • ¥15 求三国群英传pl国战时间的修改方法
  • ¥15 matlab代码代写,需写出详细代码,代价私
  • ¥15 ROS系统搭建请教(跨境电商用途)
  • ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。