yong1xin
總侑刁民想害朕
2019-03-14 10:02

python--爬虫 requests库如何进行网页等待?

  • 数据挖掘

PS: timeout参数无效!!!

在网页爬取中遇到了js:setTimeout(3)函数,网页会先加载部分数据,3秒后再次自动请求该网页,获取所有网页数据。
但requests获取网页后,只能获取等待前的数据,不能获取等待后的网页数据。
如何让requests执行js代码,或使用其它方式执行等待,获取数据?

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

2条回答