古_柯 2020-03-23 16:41 采纳率: 0%
浏览 114

外部导包scrapy转为scrapy框架后的scrapyd部署问题

大佬您好,我之前用的不是scrapy框架而是直接导包的然后在转为scrapy框架时候出现了问题,因为有一个文件是独立出来用于向指定地址发送爬取的信息的, 所以直接独立出来了然后一本地跑程序正常后打算直接部署时候出错了,您帮忙看看!谢谢大佬

图片说明

  • 写回答

1条回答 默认 最新

  • 憧憬blog 2023-03-15 02:20
    关注

    根据提供的错误信息,可以看出问题是scrapyd部署时找不到sender.py这个文件。这可能是因为在部署时没有将sender.py文件打包到egg文件中。

    可以尝试以下解决方案:

    1. 在项目根目录下创建一个MANIFEST.in文件,然后在其中添加一行 include sender.py,以告诉scrapyd在打包时包含该文件。
    2. 可以在setup.py文件中的packagespackage_data中添加相应的文件和文件夹,以确保文件在打包时被包含。

    以上两种方法可以尝试解决失败问题。如果还存在问题,可以使用调试工具来进一步查找问题。

    评论

报告相同问题?

悬赏问题

  • ¥15 recipe通过gem协议传的是什么
  • ¥15 TS2307: Cannot find module 'cc'.
  • ¥15 100小时学会sap 书上pp章节5.22,标准成本计算逻辑?
  • ¥50 达梦数据库误删日志文件重做DAMENG01.log启动仍然-712错误
  • ¥15 cellranger化学处理类型报错
  • ¥15 用texstudio插入图片出现下面情况,怎么办
  • ¥15 ubantu 用samba挂载windows的共享文件夹,无法挂载二级目录和修改文件
  • ¥15 有没有会五轴RTCP算法,双转台AC结构。
  • ¥25 对于LSTM实践问题的疑问
  • ¥15 PHP中关于排名和显示的问题