羽中飞人 2021-06-03 15:53 采纳率: 51.1%
浏览 221
已采纳

python多线程爬虫如何在中断后继续上次的断点下载数据

比如某个网站有几十万页的数据，爬虫经常会遇到各个异常

不可能每次异常后，都重新从首页下载数据

那么如何在某次中断后，继续上次的断点继续下载？

我试过在mysql上新建一个表格，来实时记录每一页数据的状态，比如某页开始下载是0，没成功是NaN，页面没有数据是-1，成功是1，共4个状态

但mysql数据库，在多线程的情况下，频繁读取数据库，会有异常，同时也觉得不安全

请问大神，有什么好的方案解决吗

 

  • 写回答

3条回答 默认 最新

  • =XHG78999= 2021-06-04 21:35
    关注

    redis记没成功的不就完事了，带同步访问，doge

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题？

悬赏问题

  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改，求解答！！
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗？在Android studio上该如何部署？
  • ¥20 docker里部署springboot项目，访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏！微信开发者工具报错，求帮改
  • ¥20 wireshark抓不到vlan
  • ¥20 关于#stm32#的问题：需要指导自动酸碱滴定仪的原理图程序代码及仿真