由scrapy异步，导致cookie在scrapy中储存过久，cookie值失效，该怎么办？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
threenewbee 2019-06-23 16:03
关注
首先我对你的说法表示怀疑，cookie没有那么容易过期的。你异步操作能延迟多久？几秒钟？几分钟？你最好用抓包工具对照浏览器的操作比较下

可能是cookie发送有遗漏，或者因为服务器有反爬虫的手段限制了你的程序。（比如你的useragent不对，操作太密集等等）

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

如何在scrapy中带cookie访问？ docker python
2019-06-10 21:30

回答 2 已采纳 ``` import scrapy from scrapy.http import Request, FormRequest class PachSpider(scrapy.Spid
怎么解决Python中scrapy导入出错的问题？ pycharm python
2021-07-14 22:31

回答 1 已采纳看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里如执行scrapy crawl demo ,spiders里面就要有demo.py文件
在 python scrapy爬虫框架：response.xpath（）的返回值是[ ],这个怎么解决？ python
2020-07-03 11:16

回答 4 已采纳考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
六 Python之scrapy爬虫框架
2021-05-07 11:56

麦芽糖0219的博客 scrapy的工作流程 scrapy的入门使用 scrapy数据建模与请求 scrapy模拟登陆 scrapy管道的使用 scrapy中间件的使用 scrapy_redis概念作用和流程 scrapy_splash组件的使用 scrapy的日志信息与配置 scrapyd部署scrapy...
python爬虫scrapy python 有问必答
2021-07-22 10:03

回答 2 已采纳看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
关于#pythonscrapy#的问题，如何解决？ python 开发语言爬虫
2023-04-02 16:26

回答 2 已采纳好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？ django flask python tornado virtualenv
2019-06-09 21:28

回答 2 已采纳 ![图片说明](https://img-ask.csdn.net/upload/201906/11/1560224325_844052.png)
python模块之Scrapy爬虫框架
2023-10-10 00:00

局外人LZ的博客 Scrapy 是一个用于爬取网站数据的强大的开源 Python 框架。它提供了一个高级的抓取和数据提取工具集，使您能够快速、灵活地构建和扩展网络爬虫。强大的功能：Scrapy 提供了一套完整的工具和功能，包括请求调度、数据...
Python中scrapy.FormRequest老是返回400错误响应 python
2022-09-17 21:20

回答 2 已采纳你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
Python的Scrapy模块；解释一下？ javascript pycharm python
2021-07-23 11:36

回答 3 已采纳这个只是爬虫的Spider编写啥也没做没有入口都运行不了顶多实现下面:import requestsurl = 'https://www.santostang.com/'response = re
scrapy如何手动停止爬虫？ python
2021-05-10 09:54

回答 1 已采纳 Ctrl+C 只是终止主线程,你的其他线程没有守护,所以 Ctrl+C 后它们继续运行。另外scrapy中的 Ctrl+C 是暂停，并不是完全停止，Ctrl+C 是断点续爬的基础。
Python爬虫第三课 Scrapy和Scrapy-redis
2022-04-27 12:14

办公模板库素材蛙的博客掌握 scrapy中每个模块的作用 1. scrapy的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快...
scrapy爬虫翻页操作，python+scrapy python 其他有问必答
2021-04-02 17:02

回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
python 3.7下载安装scrapy_在python3.9下如何安装scrapy的方法
2021-03-04 09:22

weixin_39777213的博客官网地址人流量统计新建AipBodyAnalysisfrom aip import AipBodyAnalysis""" 你的 APPID AK SK """APP_ID = '你的 App ID'API_KEY = '你2021-02-03 14:24:01本文主要介绍了在python3.9下如何安装scrapy的方法，分享...
要租房又不想自己找怎么办？用Scrapy爬取租房信息
2019-06-29 15:45

羽羽羽羽羽落的博客对于临近毕业的大学生（指自己）而言，怎样寻找便宜又实惠的房源无疑是人人都在关心的问题，今天就来看看怎样用爬虫技术快速抓取房源信息。运行环境： Python 3.6.3 Scrapy : 1.5.1 Twisted : 18.9.0 ...
没有解决我的问题, 去提问

悬赏问题

¥15 运筹学中在线排序的时间在线排序的在线LPT算法
¥30 求一段fortran代码用IVF编译运行的结果
¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
¥15 lammps拉伸应力应变曲线分析
¥15 C++ 头文件/宏冲突问题解决
¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
¥50 安卓adb backup备份子用户应用数据失败
¥20 有人能用聚类分析帮我分析一下文本内容嘛
¥15 请问Lammps做复合材料拉伸模拟，应力应变曲线问题
¥30 python代码，帮调试，帮帮忙吧

由scrapy异步，导致cookie在scrapy中储存过久，cookie值失效，该怎么办？

1条回答 默认 最新

悬赏问题

1条回答默认最新