python使用requests.get时,请求头的cookie是随机变化的,该怎么写请求头?

例如以下是请求的url:

http://search.10jqka.com.cn/stockpick/search?typed=0&preParams=&ts=1&f=1&qs=result_original&selfsectsn=&querytype=stock&searchfilter=&tid=stockpick&w=%E5%B8%82%E7%9B%88%E7%8E%87%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E21%E5%80%8D%E4%B8%94%E5%B8%82%E7%9B%88%E7%8E%87%E5%B0%8F%E4%BA%8E%E7%AD%89%E4%BA%8E22%E5%80%8D&queryarea=

以下请求头:

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ja;q=0.7,zh-TW;q=0.6,vi;q=0.5
Cache-Control: max-age=0
Connection: keep-alive
Cookie: Hm_lvt_78c58f01938e4d85eaf619eae71b4ed1=1550575085,1552764171; PHPSESSID=e9cddc3108ec629d2db0c2f2e30ce810; cid=e9cddc3108ec629d2db0c2f2e30ce8101552829178; ComputerID=e9cddc3108ec629d2db0c2f2e30ce8101552829178; other_uid=ths_mobile_iwencai_2e6c84325ffc4a0b201b430c00d1df46; iwencaisearchquery=%E8%BF%9E%E7%BB%AD15%E5%B9%B4%E6%89%A3%E9%9D%9E%E5%87%80%E5%88%A9%E6%B6%A6%E5%A4%A7%E4%BA%8E0%20%E5%B8%82%E5%87%80%E7%8E%87%E4%BD%8E%E4%BA%8E2%20roe%E9%AB%98%E4%BA%8E10%25%20%E5%B8%82%E7%9B%88%E7%8E%87%E4%BD%8E%E4%BA%8E20; guideState=1; Hm_lpvt_78c58f01938e4d85eaf619eae71b4ed1=1552835669; v=AoFMlTW5uV-o89Vrfg5AnBoTkMaYrvY4Hy-ZvOPWfVvmsa8wK_4FcK9yqbBw
Host: search.10jqka.com.cn
Referer: http://search.10jqka.com.cn/stockpick/search?typed=1&preParams=&ts=1&f=1&qs=result_rewrite&selfsectsn=&querytype=stock&searchfilter=&tid=stockpick&w=%E5%B8%82%E7%9B%88%E7%8E%87%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E21%E5%80%8D%E4%B8%94%E5%B8%82%E7%9B%88%E7%8E%87%E5%B0%8F%E4%BA%8E%E7%AD%89%E4%BA%8E22%E5%80%8D&queryarea=
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36

我的代码:
r=requests.get(myurl,headers=myheader)
其中myurl就是上面要请求的url,myheader就是上面的请求头

如果请求头里不包含cookie,那么r.text的结果就显示异常,根本不是我想要的信息:
图片说明

若是请求头里包含了cookie,那么r.text就显示正常(正常的我就不列出来了)。但问题来了:这个cookie是随机没有规律的,而且过一段时间就失效,而且好像我打开新的网页也会重置什么的,那我怎么才能写请求头呢?

3个回答

网站试图禁止机器人访问,用selenium模拟浏览器去访问。

vainquit
vainquit 好吧,以后看到请求头需要提交cookie的一律selenium
6 个月之前 回复

只能selenium,如果你能接受selenium的慢

vainquit
vainquit 谢谢,也只能这样了
6 个月之前 回复

cookie是在使用之前已经生成了,你可以在使用之前,先保存cookie然后再去使用,这样就不会失效了。正常情况下,使用关联的方法,基本上可以解决cookie的问题。除非是有各种奇怪的图形验证码一起生成的

vainquit
vainquit 谢谢,不过这cookie好像10分钟就失效,感觉保存行不通。。。我后来想了一个折中的方法,就是把请求头的cookie单独拿出来指向一个字符串变量,每次需要用程序之前就自己手动刷一个新的cookie出来复制粘贴到那个字符串变量里里,保证能get到东西,再对那些东西处理。
6 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
请求头cookie的问题
小弟我包装了请求头去服务器请求数据,可是为什么同一个请求头在不同的时候去请求数据会得到不同的结果?rn还有小弟我再问个问题!!麻烦了,是关于获取ajax数据的问题,因为我用c++的方法获取不到,于是不得以调用了c#做的程序,而那个c#是获取到了,可是却出现了我上面的第一个问题,这个问题可能比较难,请各位帮帮忙
Firefox的请求头不带Cookie
最近开发前端,发现Firefox的请求头没有带Cookie字段,但是Safari和Chrome却带着,百思不得其解。   后来发现,因为使用了whatwg-fetch库,但是fetch options没有加credential: same-origin,而ff和chrome的默认行为居然还不一样。。坑...
cookie注解和请求头注解
使用cookie注解得到cookie的值 添加cookie 请求头注解@RequestHeader(“Accept”) @RequestMapping("addcookie") public String add(@RequestHeader("Accept") String accept, HttpServletResponse response){ System.ou...
请求头
public class MyInterceptor implements Interceptor { @Override public Response intercept(Chain chain) throws IOException { Log.e(“MyInterceptor”, SpUtil.getString(App.context,“sessionId”,null)); Reques...
SpringMVC(4)之请求参数,请求头,Cookie
使用@RequestParParam来处理请求参数 @RequestMapping("testRequestParam") public String testRequestParam(@RequestParam("username") String username, @RequestParam("age") int age) { System.out.println("
JS不允许手动设置请求头的cookie
不能使用 setRequestHeader() 设置自定义头部不能发送和接收 cookie调用 getAllResponseHeaders() 方法总会返回空字符串 参考:1.《JavaScript高级程序设计(第3版)》 - 21.4.2 其他浏览器对 CORS 的实现
python爬虫-请求头无效
python请求头无效 python爬虫–请求头无效 在初学python时遇到了请求头无效的情况 原因 是由于单引号后多了空格,去除就可以了,如图所示 改后
AFNetworking的请求头的cookie的值的获取和使用
AFNetworking的请求头的cookie的值的获取和使用
python爬虫请求头
爬虫。。。 为什么我们会用到请求头呢? 因为我们在爬虫的时候要伪装成浏览器的模样 步骤: 1,我们点开任意的网址,按f12,也就是前端测试人员常常用的开发者工具 2,我们看到在上图中有Network选中之后,我们点击F5,则会看到Name 3,我们点击Name列表里任意的一个内容:比如第一个,,, 4,我们会看到好多内容,像cookie之类的,我们这里选用user-age...
Python爬虫常用请求头
一、Python中爬取相应网页数据内容的方法: import urllib.request ''' 向指定的URL地址发起请求,并返回服务器相应的数据(文件的对象) ''' response = urllib.request.urlopen("http://www.baidu.com") data = response.read(); 那么问题就来了,我们不断地请求一个网页数据,肯定会被检测...
爬虫随笔--请求头的使用
请求头的使用; 最简单伪装自己爬虫的方法—》 在请求一个网页时我们可以通过按 CTRL+shift+i进入浏览器的控制台 可以看到我们的请求头 接下来我们用爬虫来访问一个网页 import requests headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l...
HTTP请求头
webshell https://blog.csdn.net/wangjian1012/article/details/51581440 远程服务器文件 https://blog.csdn.net/le0nis/article/details/52043732 函数include() require()碰到错误直接退出,参数要打开 allow_url_include 文件包含getshell 利用...
添加请求头
1.先实现Heaner public class Heaner implements Interceptor { @Override public Response intercept(Chain chain) throws IOException { Request request = chain.request(); Request.Buil...
手机浏览器的请求头
原文在这里 http://www.zytrax.com/tech/web/mobile_ids.html 做一个 记号 方便用 手机浏览器模拟做一些事情的时候 这些头文件就有用了 AvantGo Not strictly a browser but a service for PalmOS and Windows CE users which uses a special b...
url的请求头
在下面的NSURLSessionDataTask的一个实例中可以获取到这个task的所有请求头
Retrofit请求头
public interface ObservedApis { @GET Observable get(@Url String url); @FormUrlEncoded @POST Observable<ResponseBody> post(@Url String url, @FieldMap Map<String, String> map); @DELETE Obse...
08-HTTP请求头
HTTP请求头 新建一个index.jsp的JSP文件,代码如下: <%@page import="java.util.Enumeration"%> <%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="U
HTTP 请求头
在现在衣食住行都联网的大时代背景下,各种外卖平台,社群论坛,网贷平台等越发普及,很多网贷平台为了拉新推出补贴政策,例如注册新用户送现金等。通过自动注册机实现自动批量注册平台帐号,获取现金红包已经是很多自由职业者谋利方式。在有些论坛,为了能让帖子排名靠前,很多使用自动回帖机可以在短时间将帖子顶到首页第一。这些背后的技术就是我们本课程要交给大家的。
请求参数&请求头
<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价10374元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<p>rn <br />rn</p>rn<p>rn 本阶段Java视频教程涵盖JavaWEB 企业级开发所需的Servlet、JSP、MVC 设计模式、EL 表达式、JavaBean、国际化、Cookie和HttpSession、JavaMail等核心技术。并通过书城案例,巩固知识,提供开发能力。rn</p>
拦截器的请求头
/**  * 添加请求头  */ public class UserAgentIntercepter implements Interceptor {     @Override     public Response intercept(Chain chain) throws IOException {         Request request =  chain.reque
urllib请求头
# coding:utf-8 # 设置请求头headers值 import urllib2,urllib url = 'http://www.baidu.com' headers = { # User-Agent: 在设置用户标识,可以通过该键伪装成是浏览器在访问该网站。 而爬虫默认的User-Agent的值是:Python-urllib/2.7。 'User-Agent'...
mybatis请求头
window-preferences-XML Catalog-add    Location-file system-选择mybatis-3-config.dtd文件    Key上写mybatis-config-ok-ok新建source文件,new-&amp;gt;XML File-&amp;gt;mybatis-config.xml-&amp;gt;next-&amp;gt;create xml file from dtd...
请求头工具
请求头工具类
统一请求头
public static void MyHeader(){ OkHttpClient.Builder builder1 = new OkHttpClient().newBuilder(); builder1.addInterceptor(new Interceptor() { @Override public R...
第三方请求头
创建SpUtils package jiaoyibo.bawei.com.retrofitdenglu.net; import android.content.Context; import android.content.SharedPreferences; public class SpUtils { private static final String FILE_NAME = ...
请求头和响应头
本课程是兼顾框架0基础使用,框架源码实现,框架封装的课程。
定制请求头
<p>n 本课程是一个Python爬虫实战课程,课程主要使用<strong>Requests</strong>+<strong>BeautifulSoup</strong>实现爬虫,课程包括五个部分:n</p>n<p>n <br /></p>n<p>n <strong>第一部分:CSS选择器</strong>,主要讲解类选择器,ID选择器,标签选择器,伪类和伪元素,以及组合选择器等。n</p>n<p>n <strong>第二部分:Python正则表达式</strong>,主要讲解Python对正则表达式的支持,匹配单字符、匹配多字符、匹配开头结尾、匹配分组、n </p><p style="text-align:left;">n search、<span>findall、</span><span>sub、</span><span>split 等方法以及</span><span>贪婪和非贪婪匹配。</span>n </p>n <p style="text-align:left;">n <span><strong>第三部分:Requests框架</strong>,主要讲解如何发送请求,如何获得响应结果、Cookie、Session、超时和代理的处理</span>n </p>n <p style="text-align:left;">n <span><strong>第四部分:BeautifulSoup框架</strong> , 主要讲解遍历文档、搜索文档和修改文档。</span>n </p>n <p style="text-align:left;">n <span><strong>第五部分:项目</strong>,通过爬取博客园博客文章融汇贯通的运用了所学内容。</span>n </p>n <p style="text-align:left;">n <span><br /></span>n </p>n
http请求头
目录1.基本概念2.限制3.常见设置 1.基本概念 浏览器给服务器发送http请求时候,有请求头; 接受服务器响应的时候,有响应头; 前后端交互的信息都是通过这些头来传递的,这些信息是类似于键值对的集合 2.限制 浏览器对开发者可以设置的请求头做了限制,下面的信息没有权限设置 Accept-Charset 设置接受的编码格式 gzip, deflate… 参考:https://www.w3.or...
用好okhttp拦截器 自动添加Token
环境和项目情况 大部分APP应用都用Retrofit + mvp +Rxjava来实现。其中Retrofit实际上用了Okhttp。有了okhttp自然而然想到了拦截器。说到拦截器,就是对每一个访问(Request)的拦截,打个比方,就好比请求发出去之前,先让我过滤(加工)一下,比如Header里面我统一处理一下啥的(比如每个请求都加个Token啥的)。 Retrofit 和okhttp拦截器功...
请求头详解
Accept:客户端向服务器表示,我能支持什么类型的数据。 Reterer:真正请求的地址路径,全路径。 Accept-Language:支持语言格式。 User-Agent:用户代理 向服务器表明,当前来访的客户端信息。 Content-Type:提交的数据类型,经过urlencoding编码的form表单的数据。 Accept-Encoding: gzip,deflate : 压缩算...
自定义拦截器(请求头)
builder.addInterceptor(new Interceptor() { @Override public Response intercept(Chain chain) throws IOException { Request request = chain.request(); SharedPrefer...
python 网络爬虫——请求头,ip代理
1.构造合理的 HTTP 请求头 (1)为什么要伪装? 有些网站在处理请求的时候,会对请求头中的字段进行判断,如果发现这个请求头中出现有关爬虫程序的信息,会对这个请求做出禁止访问或者封杀的操作,因此我们需要对请求进行伪装,让网站无法分别请求是否为爬虫。 (2)分析: 爬虫爬取网页时: 经典的 Python 爬虫在使用 urllib 标准库时,都会发送如下的请求头:
http请求头用处是怎么回事?
http请求头用处是怎么回事?明明不加http请求头也可以接收到网页文本信息啊!rn那文本信息中包含了http网页的一些东西。rn不加http请求头,我发送了请求给服务器了,从服务器得到了网页文本信息(网页源文件)。rn那和加上http请求头得到的不是一样的??
python 发送带请求头的json数据
# !/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import urllib import cookielib import json import httplib import urllib import urllib2 import json def http_post(): url = 'http://192.
fake-useragent,python爬虫伪装请求头
在编写爬虫进行网页数据的时候,大多数情况下,需要在请求是增加请求头,下面介绍一个python下非常好用的伪装请求头的库:fake-useragent,具体使用说明如下:
axis2怎么设置http请求头
我需要在发送的http的请求头,加"Accept-Language":"ZH",nstub._getServiceClient().getOptions().setProperty("Accept-Language","ZH",;没有效果n请问怎么添加http请求头
Retrofit 2.X使用详解之请求头
Retrofit提供了两个两种定义HTTP请求头字段的方法即静态和动态。静态头不能改变为不同的请求,头的键和值是固定的且不可改变的,随着程序的打开便已固定。在Retrofit 2.0中,OkHttp 是必须的,并且自动设置为了依赖。这样,我们又可以采用OkHttp添加请求头的方式添加请求头。动态添加 @Header String value:默认为"",参数名称 @GET("/"
iOS开发 - 如何使用请求头鉴权
最开始开发的时候并没有听过鉴权,还请求头?后台在新的公司碰到这问题,看了下文档才明白具体是要干嘛,就是在http协议层加上一些参数,服务器可以通过参数来进行校验,甚至对于ftp服务器,里面会有登录服务器的账号和密码,当然,对于安全性,其实并不能保障,因为抓包软件是可以抓到请求头里的参数的,所以请求头里的参数都会进行加密,因为有些参数是动态变化的,所以某种程度上还是起到了一定的安全性。 现在说下怎么
使用referer请求头完成防盗链
/**          * 使用Refresh请求头,来防盗链          */         String refer=request.getHeader(&quot;Referer&quot;);         System.out.println(&quot;请求头:&quot;+refer);          /**          * 如果为空或者不包含local host定向到百度否者输出hello     ...
python3使用fake_useragent添加请求头
#-*- coding:utf-8 -*- # author:Air # software: PyCharm #学习交流qq群:916696436 from fake_useragent import UserAgent #生成对象 useragent=UserAgent() headers={ 'User-Agent':useragent.random } #ie浏览器的user ...
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数