比如某个网站有几十万页的数据，爬虫经常会遇到各个异常
不可能每次异常后，都重新从首页下载数据
那么如何在某次中断后，继续上次的断点继续下载？
我试过在mysql上新建一个表格，来实时记录每一页数据的状态，比如某页开始下载是0，没成功是NaN，页面没有数据是-1，成功是1，共4个状态
但mysql数据库，在多线程的情况下，频繁读取数据库，会有异常，同时也觉得不安全
请问大神，有什么好的方案解决吗
python多线程爬虫如何在中断后继续上次的断点下载数据
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
=XHG78999= 2021-06-04 21:35关注redis记没成功的不就完事了，带同步访问，doge
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
悬赏问题
- ¥15 如何解决蓝牙通话音频突发失真问题
- ¥15 安装opengauss数据库报错
- ¥15 【急】在线问答CNC雕刻机的电子电路与编程
- ¥60 在mc68335芯片上移植ucos ii 的成功工程文件
- ¥15 笔记本外接显示器正常，但是笔记本屏幕黑屏
- ¥15 Python pandas
- ¥15 蓝牙硬件，可以用哪几种方法控制手机点击和滑动
- ¥15 生物医学数据分析。基础课程就v经常唱课程舅成牛逼
- ¥15 云环境云开发云函数对接微信商户中的分账功能
- ¥15 空间转录组CRAD遇到问题