关于使用python实现的网页爬虫程序卡死的问题

Question

想实现一个爬虫，可以抓取指定网页中的内容。

但是由于网络、本机等等原因，很容易就造成程序卡死，也试着找各种方法解决，都未实现。

现在的思路是：

写一个定时器（比如说10min），让程序每隔10min重新运行一次，同时杀死正在运行的程序。
现状：使用了schedule模块，但是这个好像是程序运行结束的10min后运行一次。

这个问题烦了好多天，自己的思路可能比较初级，如果有更好的方法，也是可以的。

还有，最好是用实例的形式，太专业我感觉自己理解会有困难。

Answer 1

你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程
如果有用，希望采纳哦~

Answer 2

你可以使用系统的任务计划程序去做定时任务。控制面板-管理工具-计划任务程序-创建任务。指向py脚本，设置相关执行时间等。

Answer 3

如果你指的卡死是卡在某个请求的话，可以试试设置 timeout 来解决。继续请求的话，可以使用 try except 捕获到异常后休眠一会，再次请求