jyy007008 2018-01-21 14:47 采纳率: 0%
浏览 2389
已结题

scrapy-redis 多个spider监听redis,只有一个能监听到

问题描述

使用scrapy-redis进行分布式抓取时,遇到了一个很奇怪的问题,有俩台机器,Windows电脑A,和Ubuntu电脑B,redis server部署在 Windows电脑A上,在电脑A,B启动爬虫后,俩只爬虫都进入监听状态,在redis中进行 url的lpush操作,奇怪的事情发生了,电脑A,或者电脑B中只有一台电脑能监听到 redis,但是具体哪个能够监听到这个很随机,有时是电脑A,有时是电脑B,我能确保,电脑A和B都是连接上了 redis的

运行环境

• scrapy 1.5.0
• scrapy-redis 0.6.8
• redis.py 2.10.6
• redis-server(windows x64) 3.2.100

运行截图

分别启动俩个spider

图片说明

第一次进行url的lpush操作,结果如下

图片说明

这时只有爬虫A监听到了 redis的操作,执行抓取逻辑,而爬虫B仍然处于监听状态

###手动停止俩只spider,并清空redis数据,再次开启爬虫,执行lpush操作,结果如下

图片说明

这时,爬虫B却监听到了redis的操作,执行抓取逻辑,而爬虫A仍处于监听状态

还有一张是lpush后 redis中的数据情况
图片说明
被这个问题困扰了2天了,这俩天一直没怎么睡,查了好多资料,试了好多办法,都不行,中间我把redis服务放在了电脑c上,但是还行不行。
希望前辈们,能指点一二

问题解决后请 采纳答案 进行终结;如果自己找到解决方案,你可以 自问自答 并采纳。

  • 写回答

3条回答 默认 最新

  • SimonMM 2018-01-21 14:48
    关注

    手动停止俩只spider,并清空redis数据,再次开启爬虫,执行lpush操作,

    评论

报告相同问题?

悬赏问题

  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 ubuntu系统下挂载磁盘上执行./提示权限不够
  • ¥15 Arcgis相交分析无法绘制一个或多个图形
  • ¥15 关于#r语言#的问题:差异分析前数据准备,报错Error in data[, sampleName1] : subscript out of bounds请问怎么解决呀以下是全部代码:
  • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
  • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
  • ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
  • ¥30 3天&7天&&15天&销量如何统计同一行
  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型