2 keyerror KeyError 于 2017.01.04 11:13 提问

Scrapy使用proxymiddle后无法链接

报错信息:
2017-01-04 11:03:20 [scrapy] DEBUG: Retrying (failed 1 times): TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。.
2017-01-04 11:03:22 [scrapy] DEBUG: Retrying (failed 2 times): Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。.
在Proxiesmiddleware中代码:
class ProxiesMiddleware(object):
def process_request(self,request,spider):
proxy=random.choice(proxies)
request.meta['proxy']=proxy
其中proxies是从西刺代理爬下来的高匿IP,在settings中也设置了:
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'Sully.middleware.ProxiesMiddleware': 100,

求助各位大大该怎么去改

1个回答

dabocaiqq
dabocaiqq   2017.01.14 23:22
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!