我想要实现爬虫结束时把redis中剩下没达到输出文件所需数量的数据输出。于是想到了管道里的close_spider。可是不知道该如何下手,在管道文件中创建几个类来分别处理这些爬虫的需求?还是说有什么别的办法。
2条回答 默认 最新
关注 方法一:
在pipeline里添加管道类,在close_spider方法里根据 spider.name 进行判断,进行对应处理
最后在settings中开启管道。方法二:
scrapy用system命令在py文件中启动是以顺序流进行的,可以 os.system("scrapy crawl xxx") ,下一行写上redis处理过程即可方法三:
完全可以通过另一个进程来做这件事,当监控到爬虫进程结束后,然后处理redis数据。下次来社区问啊, 爬虫逆向社区-爬虫逆向论坛-CSDN社区云 CSDN爬虫逆向社区,爬虫逆向论坛,为中国软件开发者打造学习和成长的家园 https://bbs.csdn.net/forums/lx
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用 1
悬赏问题
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
- ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集
- ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)(相关搜索:51单片机|单片机|测试代码)
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了,如何解决?(操作系统-ubuntu)