scrapy 异常状态码使用代理只有第一个请求生效?

下载中间件的部分代码:

def process_response(self, request, response, spider):
    status_code = [403]
    if response.status in status_code:
        spider.logger.debug('Error ======= %s %s , 开始使用 Proxy 代理' % (response.status, request.url))
        import importlib
        proxy = ProxyMiddleware(settings=settings)
        request.meta['proxy'] = proxy.proxy_server
        request.headers['Proxy-Authorization'] = proxy.proxy_authorization
        return request
    else:
        return response

按理说,只要是状态码是403的,都会使用这个代理,直到不是403为止。

事实上运行截图:

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问