用scrapy爬虫，开始能够正常请求并返回200， 但是后面会出现INFO: Crawled 36 pages (at 0 pages/min), scraped 5 items (at 1 items/min)这个问题
目前爬虫已经设置了ua， 而且可以正常访问待爬网页， ip应该没有被封， 设置dont_filter=True，运行命令是保存到csv文件中。
不知道还有哪块有问题， 希望得到大佬帮助。
scrapy爬虫踩坑求助！！！！！！！！！！！！！
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
悬赏问题
- ¥15 如何在scanpy上做差异基因和通路富集？
- ¥20 关于#硬件工程#的问题，请各位专家解答！
- ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错，维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯：Person is not mapped，如何解決？
- ¥15 c++头文件不能识别CDialog