问题是,在使用某动态转发的代理时,客服回复:“是因为请求需要重定向的url但是本身用的包使用代理自动重定向请求的时候会丢失hearder,这个时候就需要用户,禁止重定向,然后根据返回的状态码301/302的时候,从响应头的Location中获取新的请求url”
想问下scrapy 在重定向的时候会丢失middlewares中设置的header吗?如果是的话,怎么设置不“丢失”呢?
因为scrapy都是通过yield Request来请求的,在这里也没法判断状态码和获取重定向之后的URL吧?
问题是,在使用某动态转发的代理时,客服回复:“是因为请求需要重定向的url但是本身用的包使用代理自动重定向请求的时候会丢失hearder,这个时候就需要用户,禁止重定向,然后根据返回的状态码301/302的时候,从响应头的Location中获取新的请求url”
想问下scrapy 在重定向的时候会丢失middlewares中设置的header吗?如果是的话,怎么设置不“丢失”呢?
因为scrapy都是通过yield Request来请求的,在这里也没法判断状态码和获取重定向之后的URL吧?