爬虫获取的网页源码如图
id="wrapper"的div标签无法展开，无法获取里面的内容，用selenium感觉效率太低了，能有什么办法吗？
实际div展开如下图
爬虫如何获取未展开的div标签
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答 默认 最新
honestman_ 2022-08-30 10:03关注因为div里的内容，使用过ajax加载的，所以爬虫获取的网页源码是没有里面的内容的，这种数据相对来说方便一点，直接可以抓包拿到相应的ajax请求，然后直接reqeusts模块发送请求就可以拿到数据了，具体步骤：
- 打开浏览器抓包页面，点击网络(network)-> XHR:
- 刷新页面，在刷新的ajax响应里面找到你需要的数据
- requests模拟发送此条请求就可以了
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享- 打开浏览器抓包页面，点击网络(network)-> XHR:
- 2022-08-30 09:19回答 5 已采纳 因为div里的内容，使用过ajax加载的，所以爬虫获取的网页源码是没有里面的内容的，这种数据相对来说方便一点，直接可以抓包拿到相应的ajax请求，然后直接reqeusts模块发送请求就可以拿到数据了，
- 2022-04-14 10:52回答 1 已采纳 一个取巧的方法： # span后面的懒得写了。。正则表达式的前后缀你可以改动一下 list_match = re.findall(r'<span...>(.*?)</span>
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2021-12-28 10:21AugustTheo的博客 其实过了一年再来看还是这个道理，网络上的攻防说到底就是成本堆叠，只要让爬取数据的代价高于爬虫获取的价值就能达到反爬的效果，反之亦然（写于搬运时，离此文在我个人博客上发出时刚好差了一年，时间过得是真快...
- 2022-09-05 23:42回答 2 已采纳 import re from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen('https:
- 2022-04-05 22:09回答 3 已采纳 因为 个别标签字典中没有bond_nm和bond_nm_tip键 data2 = data_get['bond_nm'] data5 = data_get['bond_nm_tip']
- 2021-11-27 19:16回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
- 2022-07-31 07:20drhrht的博客 结尾尖括号用/开头，尖括号内（img和div）表示标记元素的类型（图片或文字），尖括号内可以有其他的属性（比如src）Python用做数据处理还是相当不错的，如果你想要做爬虫，Python是很好的选择，它有很多已经写好的类...
- 2022-10-22 14:15回答 1 已采纳 在浏览器里f12看一下你抓取的那个原图是不是跟你下载下来的一样。如果一样，有没有可能是网站知道你非正常访问，给你转到一个裁剪后的图片地址。
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2022-02-12 15:12回答 1 已采纳 远程看看可以吗
- 2022-10-29 21:54屏息凝气的博客 【代码】爬虫实战-直聘-爬虫岗位分析。
- 2022-12-12 01:38回答 2 已采纳 数据有可能是动态加载的，你没有爬到，先打印整个页面内容，搜索一下看有没有你需要的内容，没有的话，那内容就是动态加载的，request肯定爬取不到，那xpath肯定就提取不了呗！1.对于动态加载的数据，
- 2020-10-22 10:55不温卜火的博客 本篇博文就以高德地图展开：https://www.amap.com/ 在打开后，我们发现有一堆div标签，但是并没有我们需要的数据，这个时候就可以判定其为动态网页，这个时候，我们就需要找接口 点击网络标签，我们可以看到网页向...
- 2024-03-28 02:26hjc_042043的博客 声明以下的例子，只是来作为测试学习，并不作为真正的爬虫我们在浏览一些网站时，有不少内容是通过 JavaScript动态渲染的，或是 AJAX 请求后端加载数据，这其中涉及到了不少加密参数如 token，sign，难以找规律，...
- 没有解决我的问题, 去提问
问题事件
系统已结题
9月8日
已采纳回答
8月31日-
创建了问题
8月30日
悬赏问题
- ¥16 Qphython 用xlrd读取excel报错
- ¥15 单片机学习顺序问题！！
- ¥15 ikuai客户端多拨vpn，重启总是有个别重拨不上
- ¥20 关于#anlogic#sdram#的问题，如何解决？(关键词-performance)
- ¥15 相敏解调 matlab
- ¥15 求lingo代码和思路
- ¥15 公交车和无人机协同运输
- ¥15 stm32代码移植没反应
- ¥15 matlab基于pde算法图像修复，为什么只能对示例图像有效
- ¥100 连续两帧图像高速减法