用scrapy爬虫,开始能够正常请求并返回200, 但是后面会出现INFO: Crawled 36 pages (at 0 pages/min), scraped 5 items (at 1 items/min)这个问题
目前爬虫已经设置了ua, 而且可以正常访问待爬网页, ip应该没有被封, 设置dont_filter=True,运行命令是保存到csv文件中。
不知道还有哪块有问题, 希望得到大佬帮助。
scrapy爬虫踩坑求助!!!!!!!!!!!!!
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
悬赏问题
- ¥15 黄永刚的晶体塑性子程序中输入的材料参数里的晶体取向参数是什么形式的?
- ¥20 数学建模来解决我这个问题
- ¥15 计算机网络ip分片偏移量计算头部是-20还是-40呀
- ¥15 stc15f2k60s2单片机关于流水灯,时钟,定时器,矩阵键盘等方面的综合问题
- ¥15 YOLOv8已有一个初步的检测模型,想利用这个模型对新的图片进行自动标注,生成labellmg可以识别的数据,再手动修改。如何操作?
- ¥30 NIRfast软件使用指导
- ¥20 matlab仿真问题,求功率谱密度
- ¥15 求micropython modbus-RTU 从机的代码或库?
- ¥15 django5安装失败
- ¥15 Java与Hbase相关问题