scrapy 如何处理请求与请求之间的依赖关系

众所周知，scrapy是基于twisted的爬虫框架，scrapy控制器将spiders中的所有请求都yield到调度器的请求队列，所以整个项目的所有请求并非按照我们代码写的顺序去依次请求对应URL，但实际上，有很多网页的翻页是需要带上上一页的参数才能正常返回下一页的数据的，也就是说请求必须是按照一定的规则（页码顺序等）才能获得正确的响应数据。基于这个前提，请问scrapy框架如何应对呢？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
放风喽 2019-11-18 10:17
关注
添加cookie啊，referer啊，或者其他的东西在请求头里。
第一层请求是按顺序来的，
第二层就需要按需求添加那些东西

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

python3 scrapy Request 请求时怎么保持headers 的参数首字母不大写 python 数据挖掘
2019-05-15 16:44

回答 1 已采纳在spider文件中spider类的上面写下不希望首字母大写的header ``` from twisted.web.http_headers import Headers as TwistedH
在scrapy中能不能进行多次post请求？ python
2020-12-13 19:29

回答 1 已采纳通过scrapy 可以多次发送 post 请求的，在start_requests方法中通过 yield 去调用另一个方法即可
python爬虫scrapy python 有问必答
2021-07-22 10:03

回答 2 已采纳看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
Python中Scrapy爬虫图片处理详解
2020-12-25 13:40

安装 Scrapy 时并没有安装图像处理依赖包 Pillow，需手动安装否则运行爬虫出错。首先在 settings.py 中设置图片的存储路径： IMAGES_STORE = ‘D:/’ 图片处理相关的选项还有： # 图片最小高度和宽度设置，可以...
scrapy中请求携带json与request有什么区别？【赏】 python
2020-12-15 11:12

回答 4 已采纳兄弟，半个小时的辛苦 class CeshiSpider(scrapy.Spider): name = 'ceshi' api_headers = { 'Host'
python的requests请求连接中包含*怎么处理啊 python
2022-05-08 23:02

回答 3 已采纳链接如果没错的话直接在*前面加上反斜杠\ 转义
scrapy爬虫翻页操作，python+scrapy python 其他有问必答
2021-04-02 17:02

回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
Python基于Scrapy兼职招聘网站爬虫数据分析设计
2023-11-01 17:54

本项目爬虫端和网站后台采用Python语言开发，其中爬虫利用的是Scrapy框架可以轻松实现网站数据的抓取，抓取到的兼职信息直接保存到mysql数据库中，前端采用Vue开发，实现了前后端分离的模式，前端请求Django后端...
python scrapy爬虫如果想要下一页但是没有href python 爬虫
2022-12-14 00:18

回答 1 已采纳你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
怎么解决Python中scrapy导入出错的问题？ pycharm python
2021-07-14 22:31

回答 1 已采纳看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里如执行scrapy crawl demo ,spiders里面就要有demo.py文件
关于#pythonscrapy#的问题，如何解决？ python 开发语言爬虫
2023-04-02 16:26

回答 2 已采纳好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
Python 爬虫学习笔记（十(5)）scrapy的POST请求
2022-03-26 12:12

湫兮如风i的博客 scrapy进行POST请求的详解
Python中scrapy.FormRequest老是返回400错误响应 python
2022-09-17 21:20

回答 2 已采纳你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
Python scrapy框架(01)：scrapy介绍初识scrapy
2023-01-16 00:52

IT菜dog的博客最近在整理资料，顺便把部分干货写出来供学习以交流一、scrapy的介绍。
Python利用Scrapy框架爬取豆瓣电影示例
2020-12-23 03:17

通过Python包管理工具可以很便捷地对scrapy进行安装，如果在安装中报错提示缺少依赖的包，那就通过pip安装所缺的包 pip install scrapy scrapy的组成结构如下图所示引擎Scrapy Engine，用于中转调度其他部分的...
没有解决我的问题, 去提问

悬赏问题

¥15 运筹学排序问题中的在线排序
¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决
¥30 求一段fortran代码用IVF编译运行的结果
¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
¥15 lammps拉伸应力应变曲线分析
¥15 C++ 头文件/宏冲突问题解决
¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
¥50 安卓adb backup备份子用户应用数据失败
¥20 有人能用聚类分析帮我分析一下文本内容嘛
¥15 请问Lammps做复合材料拉伸模拟，应力应变曲线问题

scrapy 如何处理请求与请求之间的依赖关系

1条回答 默认 最新

悬赏问题

1条回答默认最新