scrapy 异常状态码使用代理只有第一个请求生效？

Question

下载中间件的部分代码：

def process_response(self, request, response, spider):
    status_code = [403]
    if response.status in status_code:
        spider.logger.debug('Error ======= %s %s , 开始使用 Proxy 代理' % (response.status, request.url))
        import importlib
        proxy = ProxyMiddleware(settings=settings)
        request.meta['proxy'] = proxy.proxy_server
        request.headers['Proxy-Authorization'] = proxy.proxy_authorization
        return request
    else:
        return response

按理说，只要是状态码是403的，都会使用这个代理，直到不是403为止。

事实上运行截图：

Answer 1

不知道你这个问题是否已经解决, 如果还没有解决的话:

• 建议你看下这篇博客👉 ：scrapy爬虫完整的代码实例

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^