scrapyd怎么给蜘蛛传参

Question

例如 让运行这个蜘蛛把数据保存成 .json文件， scrapy 命令是 -o xx.json

那么在scrapyd 管理蜘蛛时候应该怎么写

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

Scrapy的命令行工具可以用来启动和停止爬虫。但是如果你想要使用scrapyd来管理你的爬虫，你需要创建一个脚本或者配置文件来告诉scrapyd如何处理这些任务。

以下是一个基本的例子：

# scrapyd.conf

[default]
loglevel = info

websockets = true

http = true

redis = 127.0.0.1:6379
db = 0

worker_num = 4

# 这里你可以在下面添加更多的参数，比如：
# http = true
# redis = 127.0.0.1:6379
# db = 0

# 指定要使用的爬虫
scrapyd_web = my_scrapy_project/my_spider.py

然后，你可以通过scrapyd的命令行工具来启动你的爬虫：

scrapyd --config scrapyd.conf

这将启动一个名为my_spider的爬虫，并且它会运行在localhost上的端口8080上。当你尝试访问localhost:8080时，你应该能看到你的爬虫正在工作。

注意：你需要确保你的scrapy项目中有正确的设置来运行你的爬虫，包括SCRAPY_SETTINGS_MODULE=my_scrapy_project.settings.