m0_73118585 2022-08-09 22:00 采纳率: 69%
浏览 16
已结题

python爬虫怎么保存最后一条得到的信息

正在练习改写一段代码，但运行过程中容易因为网络问题报错停止。我想记录下运行结束时得到的最后一条信息，判断它运行到哪个位置了，方便我给他重新传递参数继续运行。如果直接读取数据文本，当数据量很大的时候，打开是非常慢的，另外我试过不追加数据，将数据同时写入另一个文本中，但是会多消耗四分之一的时间。这是很不划算的。有没有一种方法可以在停止的时候记录下最后一条数据，这样就方便操作了。
不知道日志logging可不可以实现，我看了下介绍没看懂，特来请教该怎么实现，最好有示例

  • 写回答

2条回答 默认 最新

      报告相同问题？

      相关推荐 更多相似问题

      问题事件

      • 系统已结题 9月4日
      • 已采纳回答 8月27日
      • 创建了问题 8月9日

      悬赏问题

      • ¥15 fluent计算后处理中如何把质量分数和摩尔分数转化为体积分数
      • ¥20 asn1c编码问题，懂asn1的人很简单
      • ¥15 使用vs2019开发的动态链路库在win7环境下使用有问题
      • ¥30 quartus prime画电路图，要发源文件和电路图每个模块批注，源程序和仿真结果
      • ¥15 MFC滚动条如何正确使用
      • ¥15 缓冲区算法求面积，基于文献
      • ¥50 电路PCB原理图设计AD19
      • ¥15 openstack 云平台搭建 创建实例错误
      • ¥15 联想笔记本网页加载突然出了问题不知道什么原因
      • ¥30 python猜单词小游戏改错 简单！！急！