python 用request模块获取网页的时候

构造headers的时候，是在里面添加越多的信息越好吗？user_agent host referer等等之类的，越多越好吗？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

4条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Yajun-Z 2019-04-22 14:54
关注
个人经验以浏览器里面的头信息为上限，宁多勿少

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(3条)

报告相同问题？

关注问题

python 用request模块获取网页的时候 css html5 python
2019-04-21 21:06

回答 4 已采纳个人经验以浏览器里面的头信息为上限，宁多勿少
Python request模块post请求的问题 python
2021-10-27 00:32

回答 2 已采纳这里的data是request请求获取到的网页data文件或者json数据,data.decode('utf8')解码后变成你可以使用的不乱码数据
python 怎么获取request 中 body的内容 python
2019-05-10 16:17

回答 2 已采纳自己解决。。。。。。。。
使用Python的Requests模块抓取网页数据（前端）
2023-10-04 13:19

KwyxLibrary的博客在前端开发中，有时候我们需要从外部网页获取数据来展示在我们的应用程序中。Python的Requests模块是一个强大的HTTP库，它可以帮助我们轻松地抓取网页数据。本文将介绍如何使用Requests模块来抓取网页，并提供相应的...
python爬虫request后返回值为空 chrome python 有问必答爬虫
2022-01-27 16:25

回答 2 已采纳接口需要post请求并发送数据，题主get请求没用改下面就可以了，注意不能采集太快，有防火墙会拦截。。-_-||。。。 import requests import time headers =
python request get方法是获得网页的yuan码吗？ python
2022-05-10 08:32

回答 6 已采纳是的，需要调用text方法就能打印出源码：如：res=requests.get('https://www.baidu.com')Print(red.text)
python 使用xlrd模块copy的时候，源表的单元格格式怎么保留？ django python
2019-10-14 16:43

回答 1 已采纳 https://my.oschina.net/qlistener/blog/1589522
python网页request_Python——urllib.request模块的使用
2021-01-13 10:17

谢科-搜索引擎的博客 llib.request请求返回网页ulbrquett最简单的应用就是urlie.requet.urlopen了，函数使用如下:urllib. request.urlopen(ur1[，data[, timeout[, cafile[, capath[, cadefaultl,context] ] ] ] ]按照官方文档，urllib....
python的time模块报错，不知道为什么 python
2021-11-30 23:44

回答 2 已采纳不能在strftime里面写中文，用format去替换里面的。如果能用请采纳 import time t = time.localtime() print(time.strftime('%Y{Y
python中的cfg模块 python
2022-04-28 16:04

回答 4 已采纳 cfg应该是config的缩写吧，这个应该是他们自己写的配置文件。
Python"cfg"模块怎么安装 python
2022-07-18 15:19

回答 1 已采纳瞅瞅这个https://blog.csdn.net/m0_46415535/article/details/121892971
python使用flask模块和前端交互基础
2022-01-06 17:55

讷言丶的博客 python利用flask模块和前端进行交互基础一、模块使用： python：flask、flask_cors 【两个都是第三方模块需要进行按照】推荐使用豆瓣源安装，以下为豆瓣源安装方法 pip install flask -i ...
python使用python-docx模块读取word表格发生重复 python
2021-03-05 23:08

回答 4 已采纳遍历的时候有意识去重就可以了 value_list = list() for row in table.rows: temp = list() for cell in row.ce
Python用requests库获取网页的cookie
2022-06-25 11:42

kylner的博客 Python用requests库获取网页的cookie
python爬虫之request库的使用（友好版）
2023-05-23 17:26

i鲸落i的博客 1，Requests是一个Python中的HTTP库，用于向Web服务器发送HTTP请求并获取响应。Requests库的使用方式与urllib库类似，但更加简单和灵活。Requests库支持HTTPS请求，并且可以自动处理cookies和会话，使得操作更加方便...
没有解决我的问题, 去提问

悬赏问题

¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场部分对应不上
¥15 如何在scanpy上做差异基因和通路富集？
¥20 关于#硬件工程#的问题，请各位专家解答！
¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
¥30 截图中的mathematics程序转换成matlab
¥15 动力学代码报错，维度不匹配
¥15 Power query添加列问题
¥50 Kubernetes&Fission&Eleasticsearch
¥15 報錯：Person is not mapped，如何解決？