PS: timeout参数无效!!!
在网页爬取中遇到了js:setTimeout(3)函数,网页会先加载部分数据,3秒后再次自动请求该网页,获取所有网页数据。
但requests获取网页后,只能获取等待前的数据,不能获取等待后的网页数据。
如何让requests执行js代码,或使用其它方式执行等待,获取数据?
PS: timeout参数无效!!!
在网页爬取中遇到了js:setTimeout(3)函数,网页会先加载部分数据,3秒后再次自动请求该网页,获取所有网页数据。
但requests获取网页后,只能获取等待前的数据,不能获取等待后的网页数据。
如何让requests执行js代码,或使用其它方式执行等待,获取数据?
好像不行,推荐用selenium吧,implicitly_wait方法