moksha_ 2022-05-14 23:29 采纳率: 0%
浏览 90
已结题

为什么使用scrapyd部署后,启动包含selenium插件的爬虫全部失败?

在scrapy终端中手动启动爬虫全部正常,通过scrapyd部署启动包含selenium插件的爬虫,运行爬虫文件,但不运行selenium插件,没有出现爬虫结果,但是查看scrapyd的job正常启动,运行时间只有1s。

通过scrapy的settings设置selenium插件,
SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = which(r'./chromedriver')
SELENIUM_DRIVER_ARGUMENTS = []

在spider中通过yield SeleniumRequest使用selenium。

scrapyd报错:
venv/lib/python3.8/site-packages/scrapy/utils/project.py:81: ScrapyDeprecationWarning: Use of environment variables prefixed with SCRAPY_ to override settings is deprecated. The following environment variables are currently defined: JOB, LOG_FILE, SLOT, SPIDER
warnings.warn(
(该警告已经解决)

但是目前使用scrapyd调度spider仍然无法启动selenium插件,是否因为scrapy-selenium插件不支持scrapyd?

求解决!如何才能让scrapyd正常使用selenium插件?

  • 写回答

4条回答 默认 最新

  • 「已注销」 2022-05-15 07:06
    关注

    Use of environment variables prefixed with SCRAPY_ to override settings is deprecated 过时了 换写法

    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 5月21日
  • 修改了问题 5月15日
  • 创建了问题 5月14日

悬赏问题

  • ¥15 python天天向上类似问题,但没有清零
  • ¥30 3天&7天&&15天&销量如何统计同一行
  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 C#调用python代码(python带有库)
  • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
  • ¥15 活动选择题。最多可以参加几个项目?
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
  • ¥15 vs2019中数据导出问题
  • ¥20 云服务Linux系统TCP-MSS值修改?
  • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)