總侑刁民想害朕
2019-03-14 10:02python--爬虫 requests库如何进行网页等待?
PS: timeout参数无效!!!
在网页爬取中遇到了js:setTimeout(3)函数,网页会先加载部分数据,3秒后再次自动请求该网页,获取所有网页数据。
但requests获取网页后,只能获取等待前的数据,不能获取等待后的网页数据。
如何让requests执行js代码,或使用其它方式执行等待,获取数据?
- 点赞
- 回答
- 收藏
- 复制链接分享
2条回答
为你推荐
- Python爬虫 requests.post爬取json内容失败
- json
- html5
- python
- ajax
- 3个回答
- python的requests_html出问题了?
- python
- 1个回答
- 写爬虫时,需要的html和用requests.get返回的html不一样导致无法进行下一步,请问怎么解决??
- python
- 3个回答
- 关于python网络爬虫网页失效的处理提问
- 正则表达式
- 1个回答
- python爬虫爬取数据存储进数据库的问题
- flask
- python
- mysql
- 3个回答
换一换