scuDLs 2019-04-24 09:54 采纳率: 0%
浏览 1559

求解关于scrapy请求会自动携带上一次请求中的set-cookie字段的问题

如图所示，在request进入downloader之前，headers里是没有cookie字段的，但是在下载结束后，request的headers字段里出现了cookie字段，且该cookie内容为上一次请求返回的set-cookie的内容，但是这里我其实是不需要这个request携带任何cookie进行请求的，尝试过在settting里设置cookies-enabled=False,这样虽然request.headers里的确没有cookie可以得到我希望的请求头，但是后续需要携带cookie的请求就没办法继续正常请求了，请问如何设置本次请求不携带上一次请求的xin'xi图片说明

  • 写回答

2条回答 默认 最新

  • Yajun-Z 2019-04-24 18:09
    关注

    在你不需要的地方手动清除不可行吗？或者你每次在不需要cookies的地方深拷贝一份setting里面的headers

    评论

报告相同问题？

  • 爬虫教程（ 6 ） --- 爬虫 进阶、扩展
    2022-07-11 07:35
    「已注销」的博客 1. 先看一个最简单的爬虫。 import requests url = "http://www.cricode.com" r = requests.get(url) print(r.text) 2. 一个正常的爬虫程序 上面那个最简单的爬虫，是一个不完整的残疾的爬虫。因为爬虫程序通常...
  • python就业班-淘宝-目录.txt
    2018-12-23 17:59
    weixin_30305735的博客 │ python就业班-淘宝-目录.txt│ ├─01 网络编程│ ├─01-基本概念│ │ 01-网络通信概述.flv│ │ 02-IP地址.flv│ │ 03-Linux、windows查看网卡信息.flv│ │ 04-ip地址的分类-ipv4和ipv6...
  • python面试题
    2018-09-01 11:25
    残烛0一0照月的博客 第一章 Python综合 1.对不定长参数的理解？  不定长参数有两种：*args和**kwargs； *args：是不定长参数，用来将参数打包成tuple给函数体调用； **kwargs:是关键字参数，打包关键字参数成dict给函数体调用； ...
  • python 试题
    2019-09-26 11:57
    diandinai8712的博客 1、现有两元祖 (('a'),('b'),('c'),('d') ) ,请使用Python中的匿名函数生成列表 [ {'a':'c'｝,{'c':'d'}] 答案：v = list(map(lambda x,y:{x:y},data[0:2],data[2:4])) data = (('a'),('b'),('c'),('d') ) v = ...
  • 老男孩上海校区Python面试题
    2018-11-08 15:31
    DominicJi的博客 python面试题 第一章:python基础 数据类型： 1 字典: 1.1 现有字典 dict={‘a’:24，‘g’:52，‘i’:12，‘k’:33}请按字典中的 value 值进行排序？ 1. sorted(dict.items()，key = lambda x:x[1]) 1.2 说...
  • 【转载】2018传智播客黑马python人工智能15期视频教程
    2018-09-19 21:57
    weixin_30652879的博客 │ │ 05-（重点）运行python程序以及python交互模式，encode编码，发送udp的练习.flv  │ │ 06-（重点）接收udp数据.flv  │ │ 07-（重点）端口绑定的问题.flv  │ │ 08-网络中重要概念复习.flv  │...
  • 我的动态归纳（便于搜索）
    2023-08-21 18:59
    「已注销」的博客 实际工作中，经常遇到一些需要很长时间才能完成的任务，例如压缩一个40G的目录，或者复制很大的文件。linux dns配置文件是“/etc/resolv.conf”，该配置文件用于配置DNS客户，它包含了主机的域名搜索顺序和DNS/...
  • 【艾琪出品】《计算机应用基础》【试题汇总2】
    2020-09-01 02:33
    island33的博客 自备留用 《Java语言程序设计》20春期末考核 1. 接口体中不应包含( )。...C 在Java中一个类不能同时继承一个类和实现一个接口 D 在Java中接口只允许单一继承 4. 编译并且执行以下代码,会出现什么情况...
  • 面试这块儿，都给我整的明明白白的
    2019-10-01 00:30
    ac8474的博客 ===============第一部分 Python基础篇（80题）=============== 1. 为什么学习Python？ 是爱吗？是责任吗？都不是，是TMD穷！ 2. 通过什么途径学习的Python？ 大街上有人看我骨骼精奇，是万中无一的编程奇才，卖...
  • 爬虫大全，爬虫工具汇总
    2015-10-21 01:21
    weixin_33725807的博客 开源爬虫 ...微型爬虫框架，含有一个小型 HTML 解析器。是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析...通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每...
  • 没有解决我的问题, 去提问