御剑pass江湖 2019-05-18 11:02 采纳率: 0%
浏览 4927

scrapy超时问题!超时问题!

scrpay-redis在爬取网页的情况下一直出现 :Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。
而且已经在报错中间件下设置出错  自动更换ip,而且ip池会自动进行更新,还是不解决问题。而且这类错误会累计的越来越多,最好程序只在报错,不在往下进行,求各路大神有没有,类似的问题,或者解决办法

  • 写回答

2条回答 默认 最新

  • threenewbee 2019-05-18 11:08
    关注

    如果是特定的网站,那么就是服务器发现你在爬,并且限制了。服务器可以检测的行为很多,比如你访问的频率,比如你用的useragent/cookie,有一些还有通过用户操作行为分析的。

    评论

报告相同问题?

悬赏问题

  • ¥15 用visual studi code完成html页面
  • ¥15 聚类分析或者python进行数据分析
  • ¥15 逻辑谓词和消解原理的运用
  • ¥15 三菱伺服电机按启动按钮有使能但不动作
  • ¥15 js,页面2返回页面1时定位进入的设备
  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?