Pigeon fancier 2021-09-08 18:21 采纳率: 81.8%
浏览 57
已结题

Python爬虫想要定时爬取数据

但是爬取的时候post的数据是读取的csv文档的，6w+条记录，不想切割，但是爬虫时会被拒绝访问，要怎么解决呢

  • 写回答

2条回答 默认 最新

  • IT_心如止水 2021-09-08 19:28
    关注

    你可以做一下异常处理，将拒绝访问的数据记录下来，然后第二次只爬取被拒绝访问的数据。
    另外，做爬虫最后还是要做一些应对反爬的措施，比如每次访问之间sleep几秒钟（最好用随机数）。
    如果，想要做定时的话，可以用 APScheduler进行
    望采纳！

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 9月16日
  • 已采纳回答 9月8日
  • 创建了问题 9月8日

悬赏问题

  • ¥15 c语言怎么用printf（“\b \b”）与getch（）实现黑框里写入与删除？
  • ¥20 怎么用dlib库的算法识别小麦病虫害
  • ¥15 华为ensp模拟器中S5700交换机在配置过程中老是反复重启
  • ¥15 java写代码遇到问题，求帮助
  • ¥15 uniapp uview http 如何实现统一的请求异常信息提示？
  • ¥15 有了解d3和topogram.js库的吗？有偿请教
  • ¥100 任意维数的K均值聚类
  • ¥15 stamps做sbas-insar，时序沉降图怎么画
  • ¥15 买了个传感器，根据商家发的代码和步骤使用但是代码报错了不会改，有没有人可以看看
  • ¥15 关于#Java#的问题，如何解决？