Feng-licong 2021-07-11 10:26 采纳率: 33.3%
浏览 21
已结题

我想scrapy使用IP代理时爬取失败就重试三次，重试失败后删除无效ip怎么操作呢？

大概就是我想在scrapy重试失败之后运行一些代码，应该放在哪个位置呢？应该怎么写呢？

  • 写回答

1条回答 默认 最新

  • 张烫麻辣亮。 2021-07-12 17:27
    关注

    一般这种情况，我们会自己建一个代理ip的redis库，平时将代理先筛选一遍放到该redis库里，当代理失败的话，就把这个失败的代理pop出去。因此这个步骤像我会放到spider里

    评论

报告相同问题？

问题事件

  • 已结题 （查看结题原因） 9月20日
  • 创建了问题 7月11日