保存的数据也一直为空
一直空跑
Robot协议关了也不行
也没发现哪里出了问题 求各位解答
Scrapy空跑问题一直无法解决
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2023-03-07 18:36回答 2 已采纳 从代码看，你的爬虫似乎只是爬取了起始页面上第一个标题链接的数据。这可能是因为在parse函数中只获取了第一个数据块，而没有对其他数据块进行处理。 你可以尝试使用循环迭代数据块，以便对每个数据块进行相同
- 2022-08-22 21:07回答 2 已采纳 这是在两个不同py文件，要使用CnblogspiderItem需要导入另一个文件在Cnblog...py文件开头导入另一个文件import Item（反正就是另一个文件的文件名，图片模糊有些看不清）
- 2018-08-14 21:24魔法屋的博客 使用过scrapy_redis框架的人一定知道，scrapy redis 在没有requests的时候，会阻塞等待接收start_url，程序无法自动结束。那如何自动停止程序，结束空跑呢？？？ spider_idle 信号 scrapy.signals.spider_idle...
- 2021-08-03 18:51回答 2 已采纳 找到原因了，是要在setting中加上MEDIA_ALLOW_REDIRECTS = True，貌似是中间件的内容，我还没学到，所以不清楚什么意思，有大佬可以解释一下吗看所有日志后会发现其实有地方报错
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2020-09-01 19:12回答 2 已采纳 ``` browser.quit() return HtmlResponse(url=request.url, body=browser.page_source, re
- 2020-07-12 17:07wangchaoqi1985的博客 scrapy 解决302重定向问题
- 2021-05-06 08:49回答 5 已采纳 代码中的allow_domains有误，应该为：['louqiuzw.com']。原链接会出现连接丢失错误，与没有传递headers或网页响应慢有关。尝试测试其他网页，在start_urls列出测试网
- 2018-01-29 07:55回答 3 已采纳 你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用 https://d
- 2021-04-17 21:20回答 4 已采纳 can't find Rust compiler，找不到Rust编译器
- 2018-07-04 09:03周小董的博客 Scrapy-Redis 空跑问题，redis_key链接跑完后，自动关闭爬虫 问题： scrapy-redis框架中，reids存储的xxx:requests已经爬取完毕，但程序仍然一直运行，如何自动停止程序，结束空跑。 分布式扩展： 我们知道 ...
- 2019-05-17 09:56lk1521769532的博客 在使用Scrapy框架中总是遇到这类问题，在此留下记录，方便查阅、 三种解决方式： 解决（一） 在Request中将scrapy的dont_filter=True，因为scrapy是默认过滤掉重复的请求URL，添加上参数之后即使被重定向了也能请求...
- 2023-06-08 14:27打怪升级一条龙的博客 2、安装完成之后在cmd命令框中输入：conda install scrapy pip命令安装 安装scrapy的时候，使用pip install scrapy一般会失败。报超时的错误。 需要先安装的依赖库有wheel、lxml、 pyOpenSSL 、 Twisted 、pywin32...
- 2022-06-30 15:19BIG_权的博客 在scrapy爬取数据时，遇到重定向301/302，特别是爬取一个下载链接时，他会直接重定向并开始下载，在下载之后才会返回爬取的链接，这时候就需要中止重定以下302都可以换成301，是一样的。
- 没有解决我的问题, 去提问
问题事件
创建了问题
11月24日
悬赏问题
- ¥15 c程序不知道为什么得不到结果
- ¥40 复杂的限制性的商函数处理
- ¥15 程序不包含适用于入口点的静态Main方法
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置