Pigeon fancier
2021-09-08 18:21
采纳率: 50%
浏览 19
已结题

Python爬虫想要定时爬取数据

但是爬取的时候post的数据是读取的csv文档的,6w+条记录,不想切割,但是爬虫时会被拒绝访问,要怎么解决呢

  • 收藏

2条回答 默认 最新

  • IT_心如止水 2021-09-08 19:28
    已采纳

    你可以做一下异常处理,将拒绝访问的数据记录下来,然后第二次只爬取被拒绝访问的数据。
    另外,做爬虫最后还是要做一些应对反爬的措施,比如每次访问之间sleep几秒钟(最好用随机数)。
    如果,想要做定时的话,可以用 APScheduler进行
    望采纳!

    已采纳该答案
    打赏 评论
  • 换代理ip试试呗,分批次 弄个间隔试试,人家系统可能一眼看出来你是爬虫 就拒绝了
    如果不行 我也没办法了

    打赏 评论

相关推荐 更多相似问题