teddy_is_bear 2023-10-13 12:52 采纳率: 50%
浏览 7
已结题

求一个有经验的爬虫，有bug解决不了了 求个思路！！

采集网址：某招标网站api接口
数据量1.6亿
请求限制：登陆状态下返回100页数据，每页100条数据。 未登录状态下返回20页数据 每页100天。
要求：一周内爬取所有数据
目前问题：ip请求次数过多会返回状态码206 没有需要的数据 尝试使用动态ip 遇到206就更换ip 但是更换新的ip后去请求还是会返回206 希望能给个思路探讨一下

  • 写回答

2条回答 默认 最新

  • cjh4312 2023-10-13 13:02
    关注

    不能一次性请求多条数据吗，一次100条得啥时候了，不管你怎么换ip也不是个办法啊

    本回答被专家选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 10月25日
  • 专家已采纳回答 10月17日
  • 创建了问题 10月13日

悬赏问题

  • ¥15 程序实在不会写，要秃了
  • ¥15 pycharm导入不了自己的包
  • ¥15 C#.net通过内网url地址获取文件并下载问题，浏览器postman可以正常下载，用程序不行
  • ¥15 本人本科机械，目前研一。没有深度学习基础，目前对研究生课题一片迷茫，请教各位！
  • ¥15 关于R语言单因素与多因素线性回归的平均值
  • ¥15 服务器清除BIOS之后引导不了
  • ¥15 CPLEX用OPL编写的混合整数线性优化问题。
  • ¥15 可以用EasyConnect连接实验室内网，但无法连接内网才能访问的服务器，为什么？
  • ¥15 前端预览docx文件，文件从后端传送过来。
  • ¥15 层次聚类和蛋白质相似度