scrapy抓取关注者返回403，加请求头也报403，尝试添加了其他的请求头依然403，怎么解决
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2021-07-25 16:57回答 1 已采纳 服务器拒绝了你的连接，你的ip可能被封了
- 2021-04-10 20:07回答 4 已采纳 对网站的多次请求时，要模仿浏览器浏览的一样，要有时间间隔不能过于频繁，尽量把请求头写全写对，针对题主的问题，1.csrf_token的获取要从页面分析着手，主要是在页面代码中meta 或其他地方找；二
- 2019-05-15 16:44回答 1 已采纳 在spider文件中spider类的上面写下不希望首字母大写的header ``` from twisted.web.http_headers import Headers as TwistedH
- 2021-07-07 16:26Java进阶营菌的博客 初学者有什么不懂的可以私信我——我刚整理了一套2021最新的0基础入门教程，无私分享，获取方法：关注小编CSDN，发私信：【学习资料】 即可获取，内附：开发工具和安装包，以及系统学习路线图。 数据的筛选： 我们...
- 2020-12-13 19:29回答 1 已采纳 通过scrapy 可以多次发送 post 请求的，在start_requests方法中通过 yield 去调用另一个方法即可
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2023-05-11 08:53青春不朽512的博客 在Scrapy项目中，爬虫是用于抓取和解析网页的主要组件。要创建一个新的爬虫，请在目录下创建一个名为在这个例子中，我们定义了一个名为的新爬虫类，它继承自。我们为爬虫指定了一个唯一的名称example，以及一个起始...
- 2021-07-22 10:03回答 2 已采纳 看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2021-08-25 09:27回答 3 已采纳 不会啊，传参+回调函数，不会导致数据流错乱的。回调函数只是处理上一层调用回调函数的时传入的参数/url
- 2023-05-20 14:49程序员王炸的博客 在Scrapy项目中，爬虫是用于抓取和解析网页的主要组件。要创建一个新的爬虫，请在目录下创建一个名为的文件，并输入以下代码：1234567891011121314importscrapyclassname'example'start_urlsdefparse(selfself.log...
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 麻辣灬香蕉的博客 文章目录前情回顾settings.py常用变量非结构化数据抓取scrapy.Request()设置中间件今日笔记分布式爬虫分布式爬虫介绍scrapy_redis详解腾讯招聘分布式改写1、正常项目数据抓取（非分布式）2、改写为分布式（同时存入...
- 2019-07-26 21:03CtrlZ1的博客 先说一下核心思想，从一个大v开始，抓取他的关注和粉丝，然后再遍历这两个群体，再抓关注和粉丝，层层抓下去，就会覆盖知乎的所有用户。 好，让我们先分析分析知乎这个网站，提示一下知乎访问是需要一些请求头的， ...
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 10月26日-
已采纳回答
10月26日
-
创建了问题
7月25日
悬赏问题
- ¥15 蓝桥oj3931，请问我错在哪里
- ¥15 买了个传感器，根据商家发的代码和步骤使用但是代码报错了不会改，有没有人可以看看
- ¥15 关于#Java#的问题，如何解决？
- ¥15 加热介质是液体，换热器壳侧导热系数和总的导热系数怎么算
- ¥100 嵌入式系统基于PIC16F882和热敏电阻的数字温度计
- ¥15 cmd cl 0x000007b
- ¥20 BAPI_PR_CHANGE how to add account assignment information for service line
- ¥500 火焰左右视图、视差（基于双目相机）
- ¥100 set_link_state
- ¥15 虚幻5 UE美术毛发渲染