写了一个scrapy redis的爬虫,也能跑,可是就是没有请求队列,去重器是可以正常生成的,管道我没有使用,就是想用redis的请求队列,可是settings也改了,爬虫继承类也改了。就是不生成。您看看图,刚开始是正常生成的,后来改了爬取逻辑不知道怎么的就没了,日志一切正常。
剩下的只有一个parse方法获取字段没有其他操作
只开一个并发,数据库也没有出现请求队列。
爬虫逻辑是循环获取我写死的参数,在start_requests里post请求列表页,获取URL进行拼接在yield请求详情页回调parse进行字段匹配提取。手写了两个redis集合,一个存放详情页URL,一个存放数据,数据满500条输出一次文件然后清空。