新♡已♧
2021-04-22 13:40
采纳率: 0%
浏览 34

请教一下 关于scrapy爬虫的问题,执行1个小时左右,就爬不动了

  1. Linux执行scrapy时,爬着爬着就不行了(大约一个小时左右就爬取不到数据),但是重新启动还可以继续
  2. 使用Linux的crontab定时任务时,时灵时不灵
  3. 请问有什么办法可以解决,(每个小时启动scrapy的方法也可以)
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • 考古学家lx 2021-04-22 14:10

    如果crontab不灵就试试 screen 吧 

    打赏 评论
  • 有问必答小助手 2021-04-22 15:13

    您好,我是有问必答小助手,你的问题已经有小伙伴为您解答了问题,您看下是否解决了您的问题,可以追评进行沟通哦~

    如果有您比较满意的答案 / 帮您提供解决思路的答案,可以点击【采纳】按钮,给回答的小伙伴一些鼓励哦~~

    ps:问答VIP仅需29元,即可享受5次/月 有问必答服务,了解详情>>>https://vip.csdn.net/askvip?utm_source=1146287632

    打赏 评论
  • 有问必答小助手 2021-04-23 18:59

    非常感谢您使用有问必答服务,为了后续更快速的帮您解决问题,现诚邀您参与有问必答体验反馈。您的建议将会运用到我们的产品优化中,希望能得到您的支持与协助!

    速戳参与调研>>>https://t.csdnimg.cn/Kf0y

    打赏 评论

相关推荐 更多相似问题