天长 2021-09-02 17:19 采纳率: 100%
浏览 49
已结题

scrapy框架中多爬虫文件情况下怎么设置那个爬虫走那个管道类呢?

我想要实现爬虫结束时把redis中剩下没达到输出文件所需数量的数据输出。于是想到了管道里的close_spider。可是不知道该如何下手,在管道文件中创建几个类来分别处理这些爬虫的需求?还是说有什么别的办法。

  • 写回答

2条回答 默认 最新

  • 考古学家lx(李玺) python领域优质创作者 2021-09-03 13:07
    关注

    方法一:
    在pipeline里添加管道类,在close_spider方法里根据 spider.name 进行判断,进行对应处理
    最后在settings中开启管道。

    方法二:
    scrapy用system命令在py文件中启动是以顺序流进行的,可以 os.system("scrapy crawl xxx") ,下一行写上redis处理过程即可

    方法三:
    完全可以通过另一个进程来做这件事,当监控到爬虫进程结束后,然后处理redis数据。

    下次来社区问啊, 爬虫逆向社区-爬虫逆向论坛-CSDN社区云 CSDN爬虫逆向社区,爬虫逆向论坛,为中国软件开发者打造学习和成长的家园 https://bbs.csdn.net/forums/lx

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 9月11日
  • 已采纳回答 9月3日
  • 创建了问题 9月2日

悬赏问题

  • ¥15 高缺失率数据如何选择填充方式
  • ¥50 potsgresql15备份问题
  • ¥15 Mac系统vs code使用phpstudy如何配置debug来调试php
  • ¥15 目前主流的音乐软件,像网易云音乐,QQ音乐他们的前端和后台部分是用的什么技术实现的?求解!
  • ¥60 pb数据库修改与连接
  • ¥15 spss统计中二分类变量和有序变量的相关性分析可以用kendall相关分析吗?
  • ¥15 拟通过pc下指令到安卓系统,如果追求响应速度,尽可能无延迟,是不是用安卓模拟器会优于实体的安卓手机?如果是,可以快多少毫秒?
  • ¥20 神经网络Sequential name=sequential, built=False
  • ¥16 Qphython 用xlrd读取excel报错
  • ¥15 单片机学习顺序问题!!