jyy007008 2018-01-21 14:47 采纳率: 0%
浏览 2389
已结题

scrapy-redis 多个spider监听redis,只有一个能监听到

问题描述

使用scrapy-redis进行分布式抓取时,遇到了一个很奇怪的问题,有俩台机器,Windows电脑A,和Ubuntu电脑B,redis server部署在 Windows电脑A上,在电脑A,B启动爬虫后,俩只爬虫都进入监听状态,在redis中进行 url的lpush操作,奇怪的事情发生了,电脑A,或者电脑B中只有一台电脑能监听到 redis,但是具体哪个能够监听到这个很随机,有时是电脑A,有时是电脑B,我能确保,电脑A和B都是连接上了 redis的

运行环境

• scrapy 1.5.0
• scrapy-redis 0.6.8
• redis.py 2.10.6
• redis-server(windows x64) 3.2.100

运行截图

分别启动俩个spider

图片说明

第一次进行url的lpush操作,结果如下

图片说明

这时只有爬虫A监听到了 redis的操作,执行抓取逻辑,而爬虫B仍然处于监听状态

###手动停止俩只spider,并清空redis数据,再次开启爬虫,执行lpush操作,结果如下

图片说明

这时,爬虫B却监听到了redis的操作,执行抓取逻辑,而爬虫A仍处于监听状态

还有一张是lpush后 redis中的数据情况
图片说明
被这个问题困扰了2天了,这俩天一直没怎么睡,查了好多资料,试了好多办法,都不行,中间我把redis服务放在了电脑c上,但是还行不行。
希望前辈们,能指点一二

问题解决后请 采纳答案 进行终结;如果自己找到解决方案,你可以 自问自答 并采纳。

  • 写回答

3条回答

  • SimonMM 2018-01-21 14:48
    关注

    手动停止俩只spider,并清空redis数据,再次开启爬虫,执行lpush操作,

    评论

报告相同问题?

悬赏问题

  • ¥15 Matlab怎么求解含参的二重积分?
  • ¥15 苹果手机突然连不上wifi了?
  • ¥15 cgictest.cgi文件无法访问
  • ¥20 删除和修改功能无法调用
  • ¥15 kafka topic 所有分副本数修改
  • ¥15 小程序中fit格式等运动数据文件怎样实现可视化?(包含心率信息))
  • ¥15 如何利用mmdetection3d中的get_flops.py文件计算fcos3d方法的flops?
  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏,求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大,价格你定,联系确定辅导后将采纳你的答案。希望能给出完整详细代码,并能解释回答我关于代码的疑问疑问,代码要求如下,联系我会发文档