天长 2021-08-31 10:10 采纳率: 100%
浏览 52
已结题

scrapy_redis爬虫不生成请求队列是怎么回事

写了一个scrapy redis的爬虫,也能跑,可是就是没有请求队列,去重器是可以正常生成的,管道我没有使用,就是想用redis的请求队列,可是settings也改了,爬虫继承类也改了。就是不生成。您看看图,刚开始是正常生成的,后来改了爬取逻辑不知道怎么的就没了,日志一切正常。

img

img

img

img
剩下的只有一个parse方法获取字段没有其他操作
只开一个并发,数据库也没有出现请求队列。
爬虫逻辑是循环获取我写死的参数,在start_requests里post请求列表页,获取URL进行拼接在yield请求详情页回调parse进行字段匹配提取。手写了两个redis集合,一个存放详情页URL,一个存放数据,数据满500条输出一次文件然后清空。

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 9月8日
    • 创建了问题 8月31日

    悬赏问题

    • ¥15 有两个非常“自以为是”烦人的问题急期待大家解决!
    • ¥30 STM32 INMP441无法读取数据
    • ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
    • ¥15 用visualstudio2022创建vue项目后无法启动
    • ¥15 x趋于0时tanx-sinx极限可以拆开算吗
    • ¥15 pyqt信号槽连接写法
    • ¥500 把面具戴到人脸上,请大家贡献智慧,别用大模型回答,大模型的答案没啥用
    • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面,不要作在线的,要离线状态。
    • ¥15 各位 帮我看看如何写代码,打出来的图形要和如下图呈现的一样,急
    • ¥30 c#打开word开启修订并实时显示批注