风筝一线牵 2023-01-28 15:43 采纳率: 33.3%
浏览 102
已结题

如何解决爬取网站不定时不返回数据

初学爬虫,遇到了棘手问题。
爬某网站采购公告信息,关键词搜索出来有5页100条,每一条里对应一个链接页面有详细信息。
现在是,我可以取到1-3页或1-4页数据,看情况不等,有时候第1页就不行。
也就是说我xpath解析没毛病,网页请求也是对的。
查了网上,有的说删除heads,我试了一样;每页之间我试着time.sleep几秒,也不行。
头大,求指教。

  • 写回答

12条回答 默认 最新

  • 梦想橡皮擦 Python领域优质创作者 2023-01-28 15:53
    关注

    额,看我的专栏呀,专业对口

    https://blog.csdn.net/hihell/category_9280209.html

    img

    需要看具体站点,可以给我发

    评论

报告相同问题?

问题事件

  • 系统已结题 2月5日
  • 创建了问题 1月28日

悬赏问题

  • ¥15 streamingtool
  • ¥15 MATLAB图像问题
  • ¥20 树莓派5做人脸情感识别与反馈系统
  • ¥15 selenium 控制 chrome-for-testing 在 Linux 环境下报错 SessionNotCreatedException
  • ¥15 使用pyodbc操作SQL数据库
  • ¥15 MATLAB实现下列
  • ¥30 mininet可视化打不开.mn文件
  • ¥50 C# 全屏打开Edge浏览器
  • ¥80 WEBPACK性能优化
  • ¥30 python拟合回归分析