最近在爬虫实战中,想要爬取一段网页里面的xhr文件,观察到此文件是post请求的,用python里面的request.post怎么都获取不到,但是状态码为200.后来试着在浏览器里面直接打开这个url,发现也是什么都没有。
关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
已采纳
python 爬取网页里面的xhr文件。
收起
- 写回答
- 好问题 7 提建议
- 关注问题
- 微信扫一扫点击复制链接分享
- 邀请回答
- 编辑 收藏 删除 结题
- 收藏 举报
1条回答 默认 最新
- 关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
「已注销」 2019-05-07 12:49关注首先,在常规头部获取请求的url,然后查看请求方法,获取请求状态,如果是失败,就说明不是这个。
然后,请求头部,将所有的headers放到requests的headers参数里面(可以包含cookie)
如果没有包含cookie,就在cookie参数传入,headers和cookie必然是字典类型的。本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?解决评论 打赏无用 1举报微信扫一扫点击复制链接分享编辑预览轻敲空格完成输入- 显示为
- 卡片
- 标题
- 链接
评论按下Enter换行,Ctrl+Enter发表内容
编辑
预览
轻敲空格完成输入
- 显示为
- 卡片
- 标题
- 链接
报告相同问题?
提交
- 2019-04-25 14:00回答 1 已采纳 这个要完整模拟js,ajax等代码了。所以只有读取源码了解相关逻辑。你也可以直接通过请求。还有请求头来模拟http请求。
- 2021-05-11 05:49回答 2 已采纳 接口找的不对吧,你看下这是不是你要的结果: import requests import json url = "http://111.198.86.222/BAP/OpenApi" pa
- 2022-02-19 00:16回答 3 已采纳 import datetime import random import time import re from selenium.webdriver.chrome.options import O
- 2024-07-15 02:36百里香酚兰的博客 于是就去搜索页面这种有大量id的网页,通过检查HTML代码的方法,找到了要薅羊毛的这个大集合目标网址的HTML代码,...前面我们根据链接直接下载歌曲文件的时候,就用的content方法,直接获取歌曲的二进制文件并保存。
- 2018-10-11 17:45回答 3 已采纳 以下是获取点击查看返回内容,测试可以完成爬取 ``` import requests def test(): s=requests.session() headers
- 2021-09-11 02:58回答 2 已采纳 直接在源代码里面,没有使用xhr。有帮助麻烦点个采纳【本回答右上角】,谢谢~~ 爬取代码如下,前后截取下得到json字符串后处理下 import requests import re import
- 2020-01-30 10:11回答 1 已采纳 加载更多是通过ajax异步加载的 请求的是 Request URL: https://cn.burberry.com/service/shelf/mens-new-arrivals-new-in/?
- 2021-05-15 12:27执章学长的博客 使用Python爬取一个网页并解析爬虫准备Python基础语法爬取一个网页的整体思路基础概念简单思路详细思路代码示例数据在目标url中数据通过其他url返回 爬虫准备 Python基础语法 首先,当你看到这篇文章的时候,我们...
- 2017-10-22 07:00回答 2 已采纳 你要用post去请求,我使用的是request库 import requests url = 'http://www.bjbus.com/home/ajax_news_list.php' hea
- 2018-08-25 00:43回答 4 已采纳 楼主问的可能有点不清楚,我的理解是:https://zh.flightaware.com/live/airport/+{机场代号} 楼主有几千个机场代号,需要爬取这几千个URL的https://zh
- 2022-08-10 08:45回答 2 已采纳 你确定你的那一大串数据都是params的吗?应该是data的,或者json的吧,post方法里面有params,但是一般不是这个格式的,你的这些里面是内嵌的,params不是这样的,如果改了以后还不行
- 2021-09-12 16:04阿尔法羊的博客 这里有一排菜单,最左边的是Element,显示的是网页的源代码,如果在这里能直接找到所需要爬取的内容,就说明这是静态页面,可以用 request库和BeautifulSoup4库的工具爬取所需内容。如果这里找不到所需内容,那么...
- 2020-12-02 22:53weixin_39524574的博客 Network:当我们爬取网页的内容,对源代码进行请求,响应的源代码中没有我们需要的东西时,需要查看Network打开需要爬取的网页,进行源码检查,会发现左边框框里的是Elements,右边框框是我们需要关注的Network ...
- 2020-11-23 15:25weixin_39952074的博客 使用network查看XHR发现有个文件“GetBuildTableByAjax.ashx”,这里面的preview中就有相关信息。截取片段是这样的:物业类别:住宅 销售状态:抵预 建筑面积:117.260平米 总价:71.65万元'class='border-333...
- 2024-07-05 19:02YHFJerry的博客 Python,HTTP相关视频讲解:python的or运算赋值用法用...查看python文件_输出py文件_cat_运行python文件_shelPython爬取Preview的信息 在当今互联网时代,信息的获取变得异常方便,爬虫技术成为了一种非常重要的手段...
- 2020-11-29 13:14weixin_39607837的博客 作者:sergiojune Python爱好者社区--专栏作者个人公众号:日常学python专注python爬虫,数据可视化,数据分析,python前端技术公众号:Python爱好者社区获取本文代码方式:关注Python爱好者社区,回复网易云在简单...
- 2020-11-23 08:30weixin_39596835的博客 下面介绍介绍如何使用python导出特定用户所有视频信息抓包分析Chrome Deveploer Tools Chrome 浏览器开发者工具在抖音APP端,复制vlogger主页地址, 比如: http://v.douyin.com/kGcU4y/ , 在PC端用chrome浏览器...
- 2020-12-05 20:36weixin_39592315的博客 虎扑是一个认真而有趣的...受害者地址https://nba.hupu.com/stats/players本文知识点:系统分析网页性质结构化的数据解析csv数据保存环境介绍:python 3.6pycharmrequestscsv爬虫案例的一般步骤1.确定url地址(网页分...
- 2023-10-01 05:54本郡主是喵的博客 打开网页。我们,发现能找到我们需要的img衔接,但是这是一个动态网页。我们每次向下滑动网页,会发现图片更新,而图片更新一般伴随着异步请求。并且,如下图所示:1.点击网络 2.点击Fetch/XHR随着下图红框异步请求次数...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 PADS Logic 原理图
- ¥15 PADS Logic 图标
- ¥15 电脑和power bi环境都是英文如何将日期层次结构转换成英文
- ¥20 气象站点数据求取中~
- ¥15 如何获取APP内弹出的网址链接
- ¥15 wifi 图标不见了 不知道怎么办 上不了网 变成小地球了
联系我们(工作时间:8:30-22:00)
400-660-0108kefu@csdn.net在线客服
- 京ICP备19004658号
- 经营性网站备案信息
- 公安备案号11010502030143
- 营业执照
- 北京互联网违法和不良信息举报中心
- 家长监护
- 中国互联网举报中心
- 网络110报警服务
- Chrome商店下载
- 账号管理规范
- 版权与免责声明
- 版权申诉
- 出版物许可证
- ©1999-2025北京创新乐知网络技术有限公司