浏览器console已经出现有数据了，但是getall后的investments仍然是空不知道为什么
爬虫xpath获取不到数据
浏览器console已经出现有数据了，但是getall后的investments仍然是空不知道为什么
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
关注数据有可能是动态加载的，你没有爬到，先打印整个页面内容，搜索一下看有没有你需要的内容，没有的话，那内容就是动态加载的，request肯定爬取不到，那xpath肯定就提取不了呗！
1.对于动态加载的数据，可以寻找f12开发者工具寻找接口，向接口发去请求获得数据。
2.可以采用selenium爬取动态加载的数据本回答被题主选为最佳回答 , 对您是否有帮助呢?评论 打赏解决 1无用举报 分享
- 2022-12-12 01:38回答 2 已采纳 数据有可能是动态加载的，你没有爬到，先打印整个页面内容，搜索一下看有没有你需要的内容，没有的话，那内容就是动态加载的，request肯定爬取不到，那xpath肯定就提取不了呗！1.对于动态加载的数据，
- 2021-08-16 09:51回答 2 已采纳 看了下这个用上级标签 id =content 来匹配然后用string(.) 方法提取标签下所有内容。再对脏数据做下剔除清洗。
- 2021-12-10 11:12回答 1 已采纳 为空的地方xpath主要是为了拿到什么数据，贴一下网页和要拿到的数据，帮你写一下xpath。上面图上的xpath那么长那么绝对路径，大概率拿不到数据的。
- 2020-11-24 01:33weixin_39640573的博客 XPath解析页面和提取数据一、简介关注公众号“轻松学编程”了解更多。XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，...
- 2020-06-01 15:18回答 1 已采纳 抓包看看，尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type
- 2022-01-27 12:25回答 4 已采纳 图片是js解析出来的，xpath无效，数据在js变量里面，正则提取下数据用json.loads加载获取 代码如下 import requests import re import json def
- 2021-11-20 15:43回答 2 已采纳
- 2022-08-01 19:59阿浩(￣▽￣)的博客 XPath是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。所以在Python爬虫中，我们经常使用xpath解析这种高效便捷的方式来提取信息。
- 2021-10-23 17:12回答 3 已采纳 该页面数据在XHR中找，构建一下headers和params，使用如下方式获json数据，然后从中解析即可： response = requests.get('https://fr.oppein.co
- 2021-07-19 17:03回答 4 已采纳 选取其所在标签，然后用text属性获取其下所有文本值。 txt='''<div class='item'> <span class="p1">制片国家/地区:</span
- 2022-03-08 08:32回答 2 已采纳 第二个li的div下少了结束标签导致etree解析出错了少了div结束标签后，etree将建筑类别后的几点全部归类到第二li下了，改下面这样就可以了 import requests from lxm
- 2022-01-18 17:13侯小啾的博客 需求：爬取豆瓣电影Top... lxml, csv 三个模块 实现步骤： 确定网页源码 把网页源码生成一个element对象 通过element对象实现XPath语法 保存数据 目标页面如图： 首先进行url分析： 第一页、第二页、第三页的url如下： ...
- 2021-09-30 17:40回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
- 2020-08-10 13:35Python新世界的博客 python爬虫：XPath语法和使用示例 XPath(XML Path Language)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法...
- 2020-11-24 01:33weixin_39980347的博客 XPath的全称是 XML Path Language，即XML 路径语言，是一种在XML（HTML）文档中查找信息的语言。它有4点特性：XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath ...
- 没有解决我的问题, 去提问
问题事件
系统已结题
1月11日
已采纳回答
1月3日-
创建了问题
12月12日
悬赏问题
- ¥15 stata安慰剂检验作图但是真实值不出现在图上
- ¥15 c程序不知道为什么得不到结果
- ¥40 复杂的限制性的商函数处理
- ¥15 程序不包含适用于入口点的静态Main方法
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题