jyy007008 2018-01-21 14:47 采纳率: 0%
浏览 2389
已结题

scrapy-redis 多个spider监听redis,只有一个能监听到

问题描述

使用scrapy-redis进行分布式抓取时,遇到了一个很奇怪的问题,有俩台机器,Windows电脑A,和Ubuntu电脑B,redis server部署在 Windows电脑A上,在电脑A,B启动爬虫后,俩只爬虫都进入监听状态,在redis中进行 url的lpush操作,奇怪的事情发生了,电脑A,或者电脑B中只有一台电脑能监听到 redis,但是具体哪个能够监听到这个很随机,有时是电脑A,有时是电脑B,我能确保,电脑A和B都是连接上了 redis的

运行环境

• scrapy 1.5.0
• scrapy-redis 0.6.8
• redis.py 2.10.6
• redis-server(windows x64) 3.2.100

运行截图

分别启动俩个spider

图片说明

第一次进行url的lpush操作,结果如下

图片说明

这时只有爬虫A监听到了 redis的操作,执行抓取逻辑,而爬虫B仍然处于监听状态

###手动停止俩只spider,并清空redis数据,再次开启爬虫,执行lpush操作,结果如下

图片说明

这时,爬虫B却监听到了redis的操作,执行抓取逻辑,而爬虫A仍处于监听状态

还有一张是lpush后 redis中的数据情况
图片说明
被这个问题困扰了2天了,这俩天一直没怎么睡,查了好多资料,试了好多办法,都不行,中间我把redis服务放在了电脑c上,但是还行不行。
希望前辈们,能指点一二

问题解决后请 采纳答案 进行终结;如果自己找到解决方案,你可以 自问自答 并采纳。

  • 写回答

3条回答 默认 最新

  • SimonMM 2018-01-21 14:48
    关注

    手动停止俩只spider,并清空redis数据,再次开启爬虫,执行lpush操作,

    评论

报告相同问题?

悬赏问题

  • ¥50 如何用脚本实现输入法的热键设置
  • ¥20 我想使用一些网络协议或者部分协议也行,主要想实现类似于traceroute的一定步长内的路由拓扑功能
  • ¥30 深度学习,前后端连接
  • ¥15 孟德尔随机化结果不一致
  • ¥15 apm2.8飞控罗盘bad health,加速度计校准失败
  • ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
  • ¥15 谁有desed数据集呀
  • ¥20 手写数字识别运行c仿真时,程序报错错误代码sim211-100
  • ¥15 关于#hadoop#的问题
  • ¥15 (标签-Python|关键词-socket)