不用代理都可以，ip代理测试是没问题的
python scrapy ip代理访问http网址出错但是https的就可以
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-12-14 00:18回答 1 已采纳 你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2021-07-22 10:03回答 2 已采纳 看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
- 2022-08-03 19:37Syc1102g的博客 Scrapy 框架:scrapy 架构组成、scrapy 工作原理、response 常用的方法、 scrapy shell、pipelines 管道封装、yield 关键字、开启单/多管道、日志信息和日志等级、scrapy 的 post请求、设置代理、 CrawlSpider、写...
- 2022-12-30 15:18回答 2 已采纳 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7478137我还给你找了一篇非常好的博客，你可以看看是否有帮助，链接：pyt
- 2022-05-06 00:26回答 2 已采纳 你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2021-03-27 10:23caimouse的博客 在开发爬虫的过程中，往往会遇到爬虫过一段时间就会失效，所谓的失效就是前面跑得好好的，突然就开始抓取不到数据了，导致被老板一顿骂。虽然失效的原因有很多，比如前说的UA被别人识别了，又或者别人的网站真的出错...
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2022-04-28 23:20回答 7 已采纳 如果你不记得改了什么的话，重装吧。毕竟你改了啥，怎么改回去就只有神才知道了。环境里面的.py文件改了的话基本没什么方法，除了重装。按报错来看，playwright, pyee,twisted,win3
- 2023-05-03 10:06温柔夏目的博客 因为安装了推荐的Notepad++ keymap扩展，卸载就可以了。
- 2021-07-23 11:36回答 3 已采纳 这个只是爬虫的Spider编写啥也没做 没有入口 都运行不了顶多实现下面:import requestsurl = 'https://www.santostang.com/'response = re
- 2020-03-04 10:27张耘华的博客 Python Scrapy 是一个比较容易上手的技术，也许看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 一、...
- 2022-07-11 07:37「已注销」的博客 From：...基于scrapy框架的爬虫代理IP设置：https://www.jianshu.com/p/074c36a7948c Scrapy: 针对特定响应状态码，使用代理重新请求：http://www.cnblogs.com/my8100/p/scrapy_middlewa...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 mmocr的训练错误，结果全为0
- ¥15 python的qt5界面
- ¥15 无线电能传输系统MATLAB仿真问题
- ¥50 如何用脚本实现输入法的热键设置
- ¥20 我想使用一些网络协议或者部分协议也行，主要想实现类似于traceroute的一定步长内的路由拓扑功能
- ¥30 深度学习，前后端连接
- ¥15 孟德尔随机化结果不一致
- ¥15 apm2.8飞控罗盘bad health，加速度计校准失败
- ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
- ¥15 谁有desed数据集呀