weixin_43541668 2021-08-07 13:04 采纳率: 100%
浏览 276
已结题

关于使用python实现的网页爬虫程序卡死的问题

想实现一个爬虫,可以抓取指定网页中的内容。

但是由于网络、本机等等原因,很容易就造成程序卡死,也试着找各种方法解决,都未实现。

现在的思路是:

写一个定时器(比如说10min),让程序每隔10min重新运行一次,同时杀死正在运行的程序。
现状:使用了schedule模块,但是这个好像是程序运行结束的10min后运行一次。

这个问题烦了好多天,自己的思路可能比较初级,如果有更好的方法,也是可以的。

还有,最好是用实例的形式,太专业我感觉自己理解会有困难。

  • 写回答

3条回答 默认 最新

  • 尘世镜花恋 2021-08-07 15:44
    关注

    你可以用time模块进行计时,每过10分钟先用os.system()重新打开程序,然后调用sys.exit()关闭旧进程
    如果有用,希望采纳哦~

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
  • CSDN专家-HGJ 2021-08-07 14:39
    关注

    你可以使用系统的任务计划程序去做定时任务。控制面板-管理工具-计划任务程序-创建任务。指向py脚本,设置相关执行时间等。

    评论
  • 江天暮雪丨 2021-08-07 14:47
    关注

    如果你指的卡死是卡在某个请求的话,可以试试设置 timeout 来解决。继续请求的话,可以使用 try except 捕获到异常后休眠一会,再次请求

    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 9月12日
  • 已采纳回答 9月4日
  • 创建了问题 8月7日

悬赏问题

  • ¥20 springboot博客系统
  • ¥15 关于#c++#的问题:在A和B类中应该怎么定义复制构造函数来避开unordered_set复制构造的问题(相关搜索:头文件)
  • ¥15 MICE包多重插补后数据集汇总导出
  • ¥15 一道算法分析问题(关于3-MSAT)
  • ¥15 C++ FLUENT 化学反应速率 编写困难
  • ¥15 Python嵌套交叉验证
  • ¥15 linuxkit+elasticsearch
  • ¥15 兄得萌6.13do题😭😭大一小东西的work
  • ¥15 投不到原始数据,gdal投影代码
  • ¥20 卷积混响的代码帮写。。