總侑刁民想害朕 2019-03-14 10:02 采纳率: 50%
浏览 5090
已采纳

python--爬虫 requests库如何进行网页等待?

PS: timeout参数无效!!!

在网页爬取中遇到了js:setTimeout(3)函数,网页会先加载部分数据,3秒后再次自动请求该网页,获取所有网页数据。
但requests获取网页后,只能获取等待前的数据,不能获取等待后的网页数据。
如何让requests执行js代码,或使用其它方式执行等待,获取数据?

  • 写回答

2条回答 默认 最新

  • 朱小葛 2019-05-08 16:38
    关注

    好像不行,推荐用selenium吧,implicitly_wait方法

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 专家修改了标签 2月26日