如题
python 爬取网页的时候 如何获得网页上面XHR的文件。
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 「已注销」 2019-04-25 22:45关注
这个要完整模拟js,ajax等代码了。所以只有读取源码了解相关逻辑。你也可以直接通过请求。还有请求头来模拟http请求。
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决评论 打赏无用 3举报 分享
- 2019-05-07 20:14回答 1 已采纳 首先，在常规头部获取请求的url，然后查看请求方法，获取请求状态，如果是失败，就说明不是这个。 然后，请求头部，将所有的headers放到requests的headers参数里面(可以包含cooki
- 2018-10-12 01:45回答 3 已采纳 以下是获取点击查看返回内容，测试可以完成爬取 ``` import requests def test(): s=requests.session() headers
- 2022-02-19 08:16回答 3 已采纳 import datetime import random import time import re from selenium.webdriver.chrome.options import O
- 2024-11-04 11:17是萝卜干呀的博客 后端存储数据 二、python 爬取网页数据并存储在本地Excel中（只针对本地） （一）导入依赖 （二）前端爬取页面数据 1. html 中 2. js 中 （三）后端获取数据，并存储到 Excel 文件中 1. 后端接收数据 2. 后端存储...
- 2021-05-11 13:49回答 2 已采纳 接口找的不对吧，你看下这是不是你要的结果： import requests import json url = "http://111.198.86.222/BAP/OpenApi" pa
- 2020-01-30 18:11回答 1 已采纳 加载更多是通过ajax异步加载的 请求的是 Request URL: https://cn.burberry.com/service/shelf/mens-new-arrivals-new-in/?
- 2018-08-25 08:43回答 4 已采纳 楼主问的可能有点不清楚，我的理解是：https://zh.flightaware.com/live/airport/+{机场代号} 楼主有几千个机场代号，需要爬取这几千个URL的https://zh
- 2020-12-03 06:53weixin_39524574的博客 Network:当我们爬取网页的内容，对源代码进行请求，响应的源代码中没有我们需要的东西时，需要查看Network打开需要爬取的网页，进行源码检查，会发现左边框框里的是Elements，右边框框是我们需要关注的Network ...
- 2021-09-11 10:58回答 2 已采纳 直接在源代码里面，没有使用xhr。有帮助麻烦点个采纳【本回答右上角】，谢谢~~ 爬取代码如下，前后截取下得到json字符串后处理下 import requests import re import
- 2017-10-22 15:00回答 2 已采纳 你要用post去请求，我使用的是request库 import requests url = 'http://www.bjbus.com/home/ajax_news_list.php' hea
- 2022-03-19 09:55回答 1 已采纳 你现在说的动态网页我这边理解的意思是 请求后端数据数据而后抓到后端数据页面重载？ 在原来的前后端不分离时，像jsp、php不分离等等，都是直接可以从表现层抓数据渲染，而不走ajax请求 后续像前后端分
- 2021-09-13 00:04阿尔法羊的博客 现在很多网站用的是动态网页加载技术，这时候用前面的request库和BS4库就不能解决问题了，需要用新的办法。 打开网页，按F12或者右键弹出菜单里选择“检查”，右侧会打开开发者工具。 这里有一排菜单，最左边的...
- 2021-05-15 20:27执章学长的博客 使用Python爬取一个网页并解析爬虫准备Python基础语法爬取一个网页的整体思路基础概念简单思路详细思路代码示例数据在目标url中数据通过其他url返回 爬虫准备 Python基础语法 首先，当你看到这篇文章的时候，我们...
- 2024-07-15 10:36百里香酚兰的博客 于是就去搜索页面这种有大量id的网页，通过检查HTML代码的方法，找到了要薅羊毛的这个大集合目标网址的HTML代码，...前面我们根据链接直接下载歌曲文件的时候，就用的content方法，直接获取歌曲的二进制文件并保存。
- 2020-11-23 23:25weixin_39952074的博客 使用network查看XHR发现有个文件“GetBuildTableByAjax.ashx”，这里面的preview中就有相关信息。截取片段是这样的：物业类别：住宅 销售状态：抵预 建筑面积：117.260平米 总价：71.65万元'class='border-333...
- 2020-11-20 18:56weixin_39787057的博客 之前我们爬取的网页，多是HTML静态生成的内容，直接从HTML源码中就能找到看到的数据和内容，然而并不是所有的网页都是这样的。有一些网站的内容由前端的JS动态生成，由于呈现在网页上的内容是由JS生成而来，我们能够...
- 2020-11-23 16:30weixin_39596835的博客 下面介绍介绍如何使用python导出特定用户所有视频信息抓包分析Chrome Deveploer Tools Chrome 浏览器开发者工具在抖音APP端，复制vlogger主页地址， 比如： http://v.douyin.com/kGcU4y/ ， 在PC端用chrome浏览器...
- 2020-02-03 18:10Sy_Faker的博客 当用requests的get得到一个对象后，发现用find显示的是None，但打开网页检查的时候却存在，为什么？ 除了平时直接显示的元素（elements）之外，还有许多内容在检查栏内： 学习之后我知道了，其中的network里的内容在...
- 2020-12-06 04:36weixin_39592315的博客 虎扑是一个认真而有趣的...受害者地址https://nba.hupu.com/stats/players本文知识点：系统分析网页性质结构化的数据解析csv数据保存环境介绍：python 3.6pycharmrequestscsv爬虫案例的一般步骤1.确定url地址(网页分...
- 没有解决我的问题, 去提问
问题事件
已采纳回答
1月16日
悬赏问题
- ¥15 准备学习小程序搭建，谁能手把手的教我啊？
- ¥15 关于#嵌入式硬件#的问题：树莓派第一天重装配置python和opencv后第二天打开就成这样，瞎捣鼓搞出来文件夹还是没把原来的界面调回来
- ¥20 Arduino 循迹小车程序电路出错故障求解
- ¥20 Arduino 循迹小车程序电路出错故障求解
- ¥100 AT89C52单片机C语言调试之后再回答
- ¥15 AT89C52单片机C语言串口助手发送数据包返回值
- ¥15 C++数组中找第二小的数字程序纠错
- ¥15 wannier复现图像时berry曲率极值点与高对称点严重偏移
- ¥15 利用决策森林为什么会出现这样·的问题(关键词-情感分析)
- ¥15 DispatcherServlet.noHandlerFound No mapping found for HTTP request with URI[/untitled30_war_e