moksha_ 2022-05-14 23:29 采纳率: 0%
浏览 92
已结题

为什么使用scrapyd部署后,启动包含selenium插件的爬虫全部失败?

在scrapy终端中手动启动爬虫全部正常,通过scrapyd部署启动包含selenium插件的爬虫,运行爬虫文件,但不运行selenium插件,没有出现爬虫结果,但是查看scrapyd的job正常启动,运行时间只有1s。

通过scrapy的settings设置selenium插件,
SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = which(r'./chromedriver')
SELENIUM_DRIVER_ARGUMENTS = []

在spider中通过yield SeleniumRequest使用selenium。

scrapyd报错:
venv/lib/python3.8/site-packages/scrapy/utils/project.py:81: ScrapyDeprecationWarning: Use of environment variables prefixed with SCRAPY_ to override settings is deprecated. The following environment variables are currently defined: JOB, LOG_FILE, SLOT, SPIDER
warnings.warn(
(该警告已经解决)

但是目前使用scrapyd调度spider仍然无法启动selenium插件,是否因为scrapy-selenium插件不支持scrapyd?

求解决!如何才能让scrapyd正常使用selenium插件?

  • 写回答

4条回答 默认 最新

  • 「已注销」 2022-05-15 07:06
    关注

    Use of environment variables prefixed with SCRAPY_ to override settings is deprecated 过时了 换写法

    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 5月21日
  • 修改了问题 5月15日
  • 创建了问题 5月14日