Jeffery_KK 2020-06-01 15:18 采纳率: 100%
浏览 962
已采纳

关于Python 网络数据爬虫爬取不到数据

起初是用xpath进行数据爬虫

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"}
    response = requests.get('https://www.gia.edu/CN/report-check?_=2&reportno=7348210118',headers=headers)

    contents = etree.HTML(response.text)

图片说明

发现数据不对,页面上的数据是通过JS加载出来的。

图片说明

后来通过分析数据来源,找到了数据加载是在这个JS文件中完成,并且数据是在页面中ID为xmlcontent的标签内容中,但是xmlcontent标签是设置的隐藏。
网上查阅资料说是用selenium可以获取隐藏标签

driver = webdriver.PhantomJS(executable_path=r'D:\python_tools\phantomjs-2.1.1-windows\bin\phantomjs.exe')
driver.get('https://www.gia.edu/CN/report-check?reportno=6335838911')

xmlcontent = driver.find_element_by_id('xmlcontent')

print(xmlcontent.get_attribute('innerHTML'))

但是貌似效果不理想,初学者往各位大佬指点~~~

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-06-01 18:06
    关注

    抓包看看,尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 爬取豆瓣电影相关处理
  • ¥15 手机淘宝抓清除消息接口
  • ¥15 C#无selenium
  • ¥15 LD衰减计算的结果过大
  • ¥15 用机器学习方法帮助保险公司预测哪些是欺诈行为
  • ¥15 计算300m以内的LD衰减
  • ¥15 数据爬取,python
  • ¥15 怎么看 cst中一个面的功率分布图,请说明详细步骤。类似下图
  • ¥15 为什么我的pycharm无法用pyqt6的QtWebEngine
  • ¥15 FOR循环语句显示查询超过300S错误怎么办