lylessly 2020-05-26 23:44 采纳率: 0%
浏览 342
已结题

pyspider all为什么有时候启动成功,有时启动失败?

RT,运行pyspider后一直卡在result_worker starting...

python版本3.7.4,pyspider版本0.3.10,WsgiDAV版本3.0, pycurl版本7.43.0.5。

电脑已安装mysql, mongodb, redis,phatomjs也在python目录里并加入环境变量。

已经排除async重名、wsgidav也修改过相关语句。也参照网上改过process_time_out参数了。

运行过程中无报错,仅仅是卡在result_worker starting...中。并且大约尝试10次能成功启动一次。

我在run.py中插入一些打印语句,如下:

def processor(ctx, processor_cls, process_time_limit, enable_stdout_capture=True, get_object=False):
    """
    Run Processor.
    """
    g = ctx.obj
    print("pass31")
    Processor = load_cls(None, None, processor_cls)
    print("pass32")

下图是启动失败与成功的截图

图片说明

scheduler与fetcher函数也是如此,当成功启动webui时,可以打印出pass32,当卡住时则只会打印出pass31.
目前只发现这3 个函数内Scheduler=load...与Fetcher=load... Processor=load...是否执行是我这个Pyspider能否成功启动的差别。

有没有大佬解惑一下,我这个是什么情况,折腾好几天了,每尝试启动个十来次才能成功一次太秃头了。

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-05-27 00:10
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算
  • ¥15 java如何提取出pdf里的文字?
  • ¥100 求三轴之间相互配合画圆以及直线的算法
  • ¥100 c语言,请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题