Jeffery_KK
2020-06-01 15:18
采纳率: 100%
浏览 698

关于Python 网络数据爬虫爬取不到数据

起初是用xpath进行数据爬虫

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"}
    response = requests.get('https://www.gia.edu/CN/report-check?_=2&reportno=7348210118',headers=headers)

    contents = etree.HTML(response.text)

图片说明

发现数据不对,页面上的数据是通过JS加载出来的。

图片说明

后来通过分析数据来源,找到了数据加载是在这个JS文件中完成,并且数据是在页面中ID为xmlcontent的标签内容中,但是xmlcontent标签是设置的隐藏。
网上查阅资料说是用selenium可以获取隐藏标签

driver = webdriver.PhantomJS(executable_path=r'D:\python_tools\phantomjs-2.1.1-windows\bin\phantomjs.exe')
driver.get('https://www.gia.edu/CN/report-check?reportno=6335838911')

xmlcontent = driver.find_element_by_id('xmlcontent')

print(xmlcontent.get_attribute('innerHTML'))

但是貌似效果不理想,初学者往各位大佬指点~~~

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • blownewbee 2020-06-01 18:06
    已采纳

    抓包看看,尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type

    点赞 打赏 评论

相关推荐 更多相似问题