malachi3
2016-04-06 15:02
采纳率: 95.5%
浏览 3.1k
已采纳

爬虫在爬网页时遇到超时,能让爬虫自动重新登录吗

爬网页时,有时连接超时,有时网页返回的html不全导致爬取失败,这时候怎么写能让爬虫重新登录呢,

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • threenewbee 2016-04-06 15:34
    已采纳

    无非就是在你的代码中判断下,然后重新执行登录的代码。

    打赏 评论
  • 创造太阳工作室 2020-01-10 20:34

    可以利用try和except来实现,在try下将网页访问用timeout来设定爬取超时,爬取超时导致失败的网址在expect下用列表保存,之后再将这个列表传递给爬虫就可以实现失败后重复爬取。

    打赏 评论
  • Cubeeeeee 2020-03-20 10:29

    重复请求直到你要请求的html页完整再往下运行

    打赏 评论

相关推荐 更多相似问题