scrapy超时问题！超时问题！

scrpay-redis在爬取网页的情况下一直出现：Connection was refused by other side: 10061: 由于目标计算机积极拒绝，无法连接。
而且已经在报错中间件下设置出错自动更换ip，而且ip池会自动进行更新，还是不解决问题。而且这类错误会累计的越来越多，最好程序只在报错，不在往下进行，求各路大神有没有，类似的问题，或者解决办法
！

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
threenewbee 2019-05-18 11:08
关注
如果是特定的网站，那么就是服务器发现你在爬，并且限制了。服务器可以检测的行为很多，比如你访问的频率，比如你用的useragent/cookie，有一些还有通过用户操作行为分析的。

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

python爬虫scrapy python 有问必答
2021-07-22 10:03

回答 2 已采纳看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
关于#pythonscrapy#的问题，如何解决？ python 开发语言爬虫
2023-04-02 16:26

回答 2 已采纳好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
怎么解决Python中scrapy导入出错的问题？ pycharm python
2021-07-14 22:31

回答 1 已采纳看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里如执行scrapy crawl demo ,spiders里面就要有demo.py文件
python安装scrapy下载超时_Python Scrapy不重试超时连接
2020-12-09 04:26

weixin_39679664的博客下面是我在settings.py那样：Python Scrapy不重试超时连接# Retry many times since proxies often failRETRY_TIMES = 10# Retry on most error codes since proxies fail for different reasonsRETRY_...
scrapy安装失败的问题 python 有问必答
2021-04-17 21:20

回答 4 已采纳 can't find Rust compiler，找不到Rust编译器
关于scrapy 无法启动的问题 python
2022-08-22 21:07

回答 2 已采纳这是在两个不同py文件，要使用CnblogspiderItem需要导入另一个文件在Cnblog...py文件开头导入另一个文件import Item（反正就是另一个文件的文件名，图片模糊有些看不清）
scrapy框架问题报错？ python
2020-03-22 13:23

回答 1 已采纳 https://www.cnblogs.com/ArsenalfanInECNU/p/5346751.html
python安装scrapy下载超时_安装scrapy失败的处理方式
2020-12-09 04:25

weixin_39762075的博客 1、起因：当前用的是python3，通过pip3安装scrapy。没注意到安装的过程中报错了。然后直接在dos下面新建scrapy项目，是成功的，也可以成功运行。2、导致的问题：当我在eclipse里面建立scrapy项目，但是import scrapy...
flask+scrapy的爬虫问题 flask json python 爬虫
2018-01-29 07:55

回答 3 已采纳你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用 https://d
scrapy通用爬虫parse解析中的问题 python 爬虫
2022-10-16 01:14

回答 1 已采纳检查一下parse item 函数的response是否是正常的
scrapy爬虫翻页操作，python+scrapy python 其他有问必答
2021-04-02 17:02

回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
scrapy 如何使用代理以及设置超时时间
2022-11-17 10:15

始識的博客 } 设置超时时间设置单个请求设置超时时间 meta = {'download_timeout':30} 设置整个文件超时时间 custom_settings = { 'DOWNLOAD_TIMEOUT': 60, } 全局设置超时时间 DOWNLOAD_TIMEOUT = 60 Scrapy设置下载延时和...
【scrapy爬虫问题】scrapy.xpath解析返回的结果有问题，求解答！！！ python
2020-07-13 19:48

回答 1 已采纳先打印response看看和你在网页上看到的一样吗？？
python安装scrapy下载超时_使用 pip 安装 scrapy 过程中失败解决方法
2020-12-09 04:25

weixin_39815345的博客使用 pip 安装 scrapy 过程中失败解决方法1、(该环境上面有python)安装scrapy的时候，使用pip install scrapy一般会失败。报超时的错误所以我们需要换另一种形式来安装，我们先将scrapy安装过程中所用到的依赖的库...
scrapy重试机制_Python Scrapy不重试连接超时【多中间件】
2020-12-23 00:23

Alysa其诗闻的博客问题 (Question)I've used some proxies to crawl some website. Here is I did in the settings.py:#RetrymanytimessinceproxiesoftenfailRETRY_TIMES=10#Retryonmosterrorcodessinceproxiesfailfo...
没有解决我的问题, 去提问

悬赏问题

¥15 回答4f系统的像差计算
¥15 java如何提取出pdf里的文字？
¥100 求三轴之间相互配合画圆以及直线的算法
¥100 c语言，请帮蒟蒻写一个题的范例作参考
¥15 名为“Product”的列已属于此 DataTable
¥15 安卓adb backup备份应用数据失败
¥15 eclipse运行项目时遇到的问题
¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
¥15 自己瞎改改，结果现在又运行不了了