2 keyerror KeyError 于 2017.01.04 11:13 提问

Scrapy使用proxymiddle后无法链接

报错信息:
2017-01-04 11:03:20 [scrapy] DEBUG: Retrying (failed 1 times): TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。.
2017-01-04 11:03:22 [scrapy] DEBUG: Retrying (failed 2 times): Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。.
在Proxiesmiddleware中代码:
class ProxiesMiddleware(object):
def process_request(self,request,spider):
proxy=random.choice(proxies)
request.meta['proxy']=proxy
其中proxies是从西刺代理爬下来的高匿IP,在settings中也设置了:
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'Sully.middleware.ProxiesMiddleware': 100,

求助各位大大该怎么去改

1个回答

dabocaiqq
dabocaiqq   2017.01.14 23:22
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Scrapy爬虫入门教程十二 Link Extractors(链接提取器)
Scrapy爬虫入门教程十二 Link Extractors(链接提取器)
anaconda下载安装后仍然无法导入scrapy
这是我第一次使用scrapy创建项目,但是生成项目后import scrapy,显示导入有误。但是使用pip install scrapy安装时却又显示anaconda中已存在用conda list查看了一下列表中确实已经存在以下是我最后的解决方法1.我使用的编辑器是pycharm打开File—Setting—Project:项目名—project Interpreter—如图(选择右上角的设置按...
python爬虫:scrapy命令失效,直接运行爬虫
scrapy命令失效,直接运行爬虫,无论是什么命令,都直接运行单个爬虫 出现这个错误,很意外 原因是这样的: 一开始,我写了个脚本单独配置爬虫启动项: # begin.py from scrapy import cmdline cmdline.execute("scrapy crawl myspider") 这样一来会比较方便,不用每次都去命令行敲命令 然而 当我想运行其他爬虫的时...
python-scrapy教程(二):网页跳转
我们接着上一教程开始讲解scrapy中网页的跳转 首先,先看我们要采集的网站:优酷list列表--http://list.youku.com/category/show/c_96_r_2017_s_1_d_1_p_1.html 我们所要采集的信息呢在这个详情页 这个详情页是通过播放页的节目简介这儿的入口进入的 接下来我们看看代码(只需要在教程一中的代码进行修改):
scrapy爬取数据之后,如何存入mysql
pipelines.py文件中新建MySQLPipeline类: # 导入库 from scrapy.utils.project import get_project_settings import pymysql # 写入数据库 class MySQLPipeline(object): def connect_db(self): # 从settings.py文件中导入...
基于python的scrapy框架中使用MongoDB遇到的问题
scrapy抓取结果保存至mongodb时的设置方法
python3使用scrapy爬取数据保存到mysql
写这篇文章的原因是因为牛人们总结的scrapy爬虫效果都很厉害的样子(http://www.bjhee.com/scrapy.html和https://segmentfault.com/a/1190000008135000),但是照着操作却总是不这么顺利(要么因为python3不兼容/要么因为过时了接口都变了/要么就是数据库本地没有/要么爬取的网站不好使了–此文章首次编辑于2018-2...
scrapy无法存入数据
当整个scrapy爬取框架搭建好后,items,pipeline都设置好了,却发现通过Pipeline无法存入文件,这时候就需要设置settings.py了在scrapy中settings中pipeline的开关是默认关闭的,需要将其注释去掉,之后就可以发挥scrapy的大刀啦。 # Configure item pipelines # See http://scrapy.readthedocs.o
第六章 使用LinkExtractor 提取链接
使用LinkExtractor 提取链接 提取链接的两种方法: Selector LinkExtractor 之前的代码是使用的Selector,这里就不再做介绍了,开始LinkExtractor的学习 1.使用LinkExtractor from scrapy.linkextractors import LinkExtractor # 提取链接 # 下一页的
安装scrapy教程(关于scrapy安装完运行失败的问题解决)
方法/步骤 http://jingyan.baidu.com/article/14bd256e748346bb6d2612be.html 原文路径 1.安装Python 安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕 (如下面截图)。python下载网站,https