正在练习改写一段代码,但运行过程中容易因为网络问题报错停止。我想记录下运行结束时得到的最后一条信息,判断它运行到哪个位置了,方便我给他重新传递参数继续运行。如果直接读取数据文本,当数据量很大的时候,打开是非常慢的,另外我试过不追加数据,将数据同时写入另一个文本中,但是会多消耗四分之一的时间。这是很不划算的。有没有一种方法可以在停止的时候记录下最后一条数据,这样就方便操作了。
不知道日志logging可不可以实现,我看了下介绍没看懂,特来请教该怎么实现,最好有示例
python爬虫怎么保存最后一条得到的信息
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- 快乐小土狗 2022-08-09 22:35关注
容易因为网络问题报错停止?这是被反扒了吧?
设置代理试试。像这种你只需要知道程序报错停止的时候的最后一条信息。
那你try语句输出这个消息不就好咧?本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 oracle集群安装出bug
- ¥15 关于#python#的问题:自动化测试
- ¥20 问题请教!vue项目关于Nginx配置nonce安全策略的问题
- ¥15 教务系统账号被盗号如何追溯设备
- ¥20 delta降尺度方法,未来数据怎么降尺度
- ¥15 c# 使用NPOI快速将datatable数据导入excel中指定sheet,要求快速高效
- ¥15 再不同版本的系统上,TCP传输速度不一致
- ¥15 高德地图2.0 版本点聚合中Marker的位置无法实时更新,如何解决呢?
- ¥15 DIFY API Endpoint 问题。
- ¥20 sub地址DHCP问题