KeyError 2017-01-04 03:13 采纳率: 0%
浏览 3142

Scrapy使用proxymiddle后无法链接

报错信息:
2017-01-04 11:03:20 [scrapy] DEBUG: Retrying (failed 1 times): TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。.
2017-01-04 11:03:22 [scrapy] DEBUG: Retrying (failed 2 times): Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。.
在Proxiesmiddleware中代码:
class ProxiesMiddleware(object):
def process_request(self,request,spider):
proxy=random.choice(proxies)
request.meta['proxy']=proxy
其中proxies是从西刺代理爬下来的高匿IP,在settings中也设置了:
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'Sully.middleware.ProxiesMiddleware': 100,

求助各位大大该怎么去改

  • 写回答

1条回答 默认 最新

  • dabocaiqq 2017-01-14 15:22
    关注
    评论

报告相同问题?

悬赏问题

  • ¥188 寻找能做王者评分提取的
  • ¥15 matlab用simulink求解一个二阶微分方程,要求截图
  • ¥30 乘子法解约束最优化问题的matlab代码文件,最好有matlab代码文件
  • ¥15 写论文,需要数据支撑
  • ¥15 identifier of an instance of 类 was altered from xx to xx错误
  • ¥100 反编译微信小游戏求指导
  • ¥15 docker模式webrtc-streamer 无法播放公网rtsp
  • ¥15 学不会递归,理解不了汉诺塔参数变化
  • ¥15 基于图神经网络的COVID-19药物筛选研究
  • ¥30 软件自定义无线电该怎样使用