scrapy 采集如何解决被采集网站的IP受限呢？采集一些大平台时，使用登录COOKIE绕过登录经常出现重定向到登录页面或者页面会变成滑动验证？ 
scrapy 采集如何解决被采集网站的IP受限呢
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
- 2020-03-06 15:17回答 2 已采纳 还是得写个滑动验证的
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2020-12-07 16:30weixin_39539002的博客 多年爬虫经验的人告诉你，国内ADSL是...大数据时代，数据采集成为多家公司的日常任务。为了提高爬虫的工作效率，一般都会选择使用代理IP。九州动态IP是一款动态IP转换器客户端，该提供国内26个省共百万数据级动态i...
- 2021-07-22 10:03回答 2 已采纳 看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2022-12-14 00:18回答 1 已采纳 你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
- 2022-01-21 21:46轻松学Python的博客 我们写爬虫程序，爬多了或者请求爬取数据快了，服务器就会拒绝访问，同时一个IP多次快速请求，网站会把你IP封掉，这时候 要么等一段时间，要么换IP。 基本思路 1.数据来源分析 找我们想要数据内容, 从哪里来的 2....
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2022-12-30 15:18回答 2 已采纳 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7478137我还给你找了一篇非常好的博客，你可以看看是否有帮助，链接：pyt
- 2021-07-23 11:36回答 3 已采纳 这个只是爬虫的Spider编写啥也没做 没有入口 都运行不了顶多实现下面:import requestsurl = 'https://www.santostang.com/'response = re
- 2024-03-12 10:24中杯可乐多加冰的博客 基于这种跨越国界的电子商务模式，企业不再受限于传统的地域销售，而是可以将产品推向全球市场，实现全球范围的发展。然而，与传统的国内电商相比，国际市场消费者的需求、偏好、文化习惯等差异巨大，因此我们在选品...
- 2020-07-03 11:16回答 4 已采纳 考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
- 2019-01-16 16:53QF_HTML5的博客 采集器一般就是要下载安装在本机，然后在本机创建爬虫，使用的是自己的带宽，受限于自己的电脑是否关机。 至于最终选择哪款爬虫软件，我们还是需要根据爬虫自己的特点与优势，以及我们自己...
- 2019-11-13 10:55张烫麻辣亮。的博客 ( 1）通过请求头的一些特征来判断是否为爬虫。user-agent被检测，那可以找一些常见的user-agent放入列表，然后每次...使用代理IP来解决。（4）验证码反爬简单的图形验证码：使用常见的一些模块去识别。例如ddddocr。
- 没有解决我的问题, 去提问
问题事件
已采纳回答
8月31日
悬赏问题
- ¥20 双层网络上信息-疾病传播
- ¥50 paddlepaddle pinn
- ¥20 idea运行测试代码报错问题
- ¥15 网络监控：网络故障告警通知
- ¥15 django项目运行报编码错误
- ¥15 请问这个是什么意思？
- ¥15 STM32驱动继电器
- ¥15 Windows server update services
- ¥15 关于#c语言#的问题：我现在在做一个墨水屏设计，2.9英寸的小屏怎么换4.2英寸大屏
- ¥15 模糊pid与pid仿真结果几乎一样