m0_73118585 2022-08-09 22:00 采纳率: 69%
浏览 16
已结题

python爬虫怎么保存最后一条得到的信息

正在练习改写一段代码，但运行过程中容易因为网络问题报错停止。我想记录下运行结束时得到的最后一条信息，判断它运行到哪个位置了，方便我给他重新传递参数继续运行。如果直接读取数据文本，当数据量很大的时候，打开是非常慢的，另外我试过不追加数据，将数据同时写入另一个文本中，但是会多消耗四分之一的时间。这是很不划算的。有没有一种方法可以在停止的时候记录下最后一条数据，这样就方便操作了。
不知道日志logging可不可以实现，我看了下介绍没看懂，特来请教该怎么实现，最好有示例

  • 写回答

2条回答 默认 最新

  • 快乐小土狗 2022-08-09 22:35
    关注

    容易因为网络问题报错停止？这是被反扒了吧？
    设置代理试试。

    像这种你只需要知道程序报错停止的时候的最后一条信息。
    那你try语句输出这个消息不就好咧？

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 9月4日
  • 已采纳回答 8月27日
  • 创建了问题 8月9日

悬赏问题

  • ¥15 metadata提取的PDF元数据，如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误，如何解决？
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本，但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派，无法执行update，如何解决？（相关搜索：软件下载）
  • ¥15 Windows11, backspace, enter, space键失灵