如图所示，在request进入downloader之前，headers里是没有cookie字段的，但是在下载结束后，request的headers字段里出现了cookie字段，且该cookie内容为上一次请求返回的set-cookie的内容，但是这里我其实是不需要这个request携带任何cookie进行请求的，尝试过在settting里设置cookies-enabled=False,这样虽然request.headers里的确没有cookie可以得到我希望的请求头，但是后续需要携带cookie的请求就没办法继续正常请求了，请问如何设置本次请求不携带上一次请求的xin'xi
求解关于scrapy请求会自动携带上一次请求中的set-cookie字段的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答
- Yajun-Z 2019-04-24 18:09关注
在你不需要的地方手动清除不可行吗？或者你每次在不需要
cookies的地方深拷贝一份setting里面的headers解决 无用评论 打赏举报 分享
- 2019-05-15 16:44回答 1 已采纳 在spider文件中spider类的上面写下不希望首字母大写的header ``` from twisted.web.http_headers import Headers as TwistedH
- 2020-12-15 11:12回答 4 已采纳 兄弟，半个小时的辛苦 class CeshiSpider(scrapy.Spider): name = 'ceshi' api_headers = { 'Host'
- 2020-12-13 19:29回答 1 已采纳 通过scrapy 可以多次发送 post 请求的，在start_requests方法中通过 yield 去调用另一个方法即可
- 2022-07-11 07:35「已注销」的博客 1. 先看一个最简单的爬虫。 import requests url = "http://www.cricode.com" r = requests.get(url) print(r.text) 2. 一个正常的爬虫程序 上面那个最简单的爬虫，是一个不完整的残疾的爬虫。因为爬虫程序通常...
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2019-06-09 21:28
不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？
django
flask
python
tornado
virtualenv
回答 2 已采纳  - 2018-12-23 17:59weixin_30305735的博客 │ python就业班-淘宝-目录.txt│ ├─01 网络编程│ ├─01-基本概念│ │ 01-网络通信概述.flv│ │ 02-IP地址.flv│ │ 03-Linux、windows查看网卡信息.flv│ │ 04-ip地址的分类-ipv4和ipv6...
- 2022-03-11 17:47回答 1 已采纳 第一次已经关闭的连接，不能再次关闭
- 2021-08-25 09:27回答 3 已采纳 不会啊，传参+回调函数，不会导致数据流错乱的。回调函数只是处理上一层调用回调函数的时传入的参数/url
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2018-09-01 11:25残烛0一0照月的博客 第一章 Python综合 1.对不定长参数的理解？ 不定长参数有两种：*args和**kwargs； *args：是不定长参数，用来将参数打包成tuple给函数体调用； **kwargs:是关键字参数，打包关键字参数成dict给函数体调用； ...
- 2022-09-28 11:34回答 2 已采纳 找到了解决方法pip3 install pyOpenSSL==22.0.0
- 2019-09-26 11:57diandinai8712的博客 1、现有两元祖 (('a'),('b'),('c'),('d') ) ,请使用Python中的匿名函数生成列表 [ {'a':'c'｝,{'c':'d'}] 答案：v = list(map(lambda x,y:{x:y},data[0:2],data[2:4])) data = (('a'),('b'),('c'),('d') ) v = ...
- 2018-11-08 15:31DominicJi的博客 python面试题 第一章:python基础 数据类型： 1 字典: 1.1 现有字典 dict={‘a’:24，‘g’:52，‘i’:12，‘k’:33}请按字典中的 value 值进行排序？ 1. sorted(dict.items()，key = lambda x:x[1]) 1.2 说...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 如何在scanpy上做差异基因和通路富集？
- ¥20 关于#硬件工程#的问题，请各位专家解答！
- ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错，维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯：Person is not mapped，如何解決？
- ¥15 c++头文件不能识别CDialog