初学爬虫,遇到了棘手问题。
爬某网站采购公告信息,关键词搜索出来有5页100条,每一条里对应一个链接页面有详细信息。
现在是,我可以取到1-3页或1-4页数据,看情况不等,有时候第1页就不行。
也就是说我xpath解析没毛病,网页请求也是对的。
查了网上,有的说删除heads,我试了一样;每页之间我试着time.sleep几秒,也不行。
头大,求指教。
如何解决爬取网站不定时不返回数据
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
12条回答 默认 最新
相关推荐 更多相似问题
点击登录
提问题
悬赏问题
- ¥15 yolov5摄像头识别只能检测第一帧图像
- ¥15 有没有可以下载钉钉群文件视频的软件
- ¥15 如何用LaTeX打出如下的表格
- ¥15 程序填空补充完整的代码一共三题
- ¥15 在MySQL中使用while建表,报错
- ¥15 python导入pyautogui报错,网上也没有找到解决方法如何解决?
- ¥15 关于IPSEC和NAT SERVER同时使用的情况下,该如何解决客户端访问服务器的问题
- ¥15 eclipse项目在idea运行部署到云服务器
- ¥100 sql server image类型转换
- ¥15 关于matlab的问题