m0_73118585 2022-08-09 22:00 采纳率: 69%
浏览 16
已结题

python爬虫怎么保存最后一条得到的信息

正在练习改写一段代码,但运行过程中容易因为网络问题报错停止。我想记录下运行结束时得到的最后一条信息,判断它运行到哪个位置了,方便我给他重新传递参数继续运行。如果直接读取数据文本,当数据量很大的时候,打开是非常慢的,另外我试过不追加数据,将数据同时写入另一个文本中,但是会多消耗四分之一的时间。这是很不划算的。有没有一种方法可以在停止的时候记录下最后一条数据,这样就方便操作了。
不知道日志logging可不可以实现,我看了下介绍没看懂,特来请教该怎么实现,最好有示例

  • 写回答

2条回答 默认 最新

  • 快乐小土狗 2022-08-09 22:35
    关注

    容易因为网络问题报错停止?这是被反扒了吧?
    设置代理试试。

    像这种你只需要知道程序报错停止的时候的最后一条信息。
    那你try语句输出这个消息不就好咧?

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 9月4日
  • 已采纳回答 8月27日
  • 创建了问题 8月9日

悬赏问题

  • ¥15 phython如何实现以下功能?查找同一用户名的消费金额合并—
  • ¥15 孟德尔随机化怎样画共定位分析图
  • ¥18 模拟电路问题解答有偿速度
  • ¥15 CST仿真别人的模型结果仿真结果S参数完全不对
  • ¥15 误删注册表文件致win10无法开启
  • ¥15 请问在阿里云服务器中怎么利用数据库制作网站
  • ¥60 ESP32怎么烧录自启动程序
  • ¥50 html2canvas超出滚动条不显示
  • ¥15 java业务性能问题求解(sql,业务设计相关)
  • ¥15 52810 尾椎c三个a 写蓝牙地址