我是一名爬虫初学者，我试图爬取某网站的数据，但是发现页面源代码与开发者工具中的代码不一致，例如页面源代码中含有开发者工具代码中所没有的div标签，以至于所选取的定位路径无效。并且页面源代码中所展示的也不是树状结构，很难自己根据页面源代码定位路径。请问对于这种场景有什么解决方案吗？
关于#python#的问题：页面原代码与开发者工具中的代码不一致
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
关注有些是动态加载出来的，一切以你爬虫爬取到的页面结构为准，你可以将爬取到的html保存为html文件，然后在浏览器中打开它，此时，你右键复制xpath就行了，这样你就不用手写了，如果要手写的话，你就依据你爬取的html结构，用相对路径大概写一写xpath也简单呢。
有帮助的话采纳一下哦！本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 编辑记录 分享
- 2022-10-03 23:58回答 1 已采纳 有些是动态加载出来的，一切以你爬虫爬取到的页面结构为准，你可以将爬取到的html保存为html文件，然后在浏览器中打开它，此时，你右键复制xpath就行了，这样你就不用手写了，如果要手写的话，你就依据
- 2022-10-09 23:57回答 2 已采纳 这是通过js动态渲染的，对于这种你可以开发者工具打到network找接口，然后找到接口后对这个接口链接发起请求。然后另一种最简单的办法就是用selenium抓取，抓取页面内容完全可以处理动态加载的数据
- 2023-02-13 21:42回答 4 已采纳 毫无疑问，你使用的IDE是PyCharm。你的代码没有问题，这个报错应该是IDE的版本问题。解决方法：打开pycharm.vmoptions或pycharm64.vmoptions配置文件，在文件末尾
- 2020-09-18 16:34嗨学编程的博客 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。...在某个网站上，分析页面以及抓取数据，我用得最多的工具是 Chrome 开发者工具。 Chrome 开发者工具是
- 2023-03-07 18:40回答 3 已采纳 不知道你这个问题是否已经解决, 如果还没有解决的话: 请看👉 ：PyCharm安装numpy库时遇到的问题解决方法如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放
- 2022-04-01 15:45回答 2 已采纳 这是因为使用的是tensorflow2.0以上版本，代码中的函数是1.0的版本,解决方案见如下链接：https://blog.csdn.net/qq_44836803/article/details/
- 2022-05-31 17:52回答 5 已采纳 感觉 你俩问题一样，多写了 几个，看一下吧https://ask.csdn.net/questions/7729851 class Person: name = '' age = 0
- 2024-02-20 13:13一键难忘的博客 在Web开发和测试领域，自动化测试工具的使用变...Selenium是一款强大的自动化测试工具，可以用于模拟用户在浏览器中的操作。本文将介绍Selenium的基础知识，并通过代码实例演示如何使用Selenium进行自动化操作浏览器。
- 2022-04-19 21:51回答 2 已采纳 查看这个issue。https://github.com/deep-learning-with-pytorch/dlwpt-code/issues/27 解决方案：导入一下包from cassandr
- 2022-03-27 13:50回答 2 已采纳 n = int(input(">>>")) for i in range(1, n + 1): print(f"{str(i)*i:>{n}}")
- 2021-07-13 15:18回答 1 已采纳 np.poly1d方法生成的多项式本身带有求导的方法deriv n = np.poly1d([2,3,5,7]) print(n.deriv()) print(n.deriv()(1))
- 2023-08-04 00:40禅与计算机程序设计艺术的博客 2019 年，中国大学生机器学习大赛评测协会（ACM）发布了“2019 大数据与人工智能专业人才创新训练计划”（Data and AI Skills Development Training for College Students），旨在鼓励青年学生进行科研和项目开发，...
- 2021-10-05 17:33
关于#python#的问题：检查字符串“Life is short.I use python”中是否包含字符串“python”，若包含则替换为“python”后输出新字符串，否则输出原字符串
python
回答 2 已采纳 a='Life is short.I use python' if 'python' in a: print(a.replace('python','java')) else: pri - 2020-07-08 11:18荣仔！最靓的仔！的博客 本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容，以学习笔记形式编写的。 本专栏不光是自己的一个学习分享，也希望能给您普及一些关于爬虫的相关知识...
- 2020-05-06 19:33荣仔！最靓的仔！的博客 将爬取的数据存入电脑就好比将吸引出的铁块装入到指定容器中。 在大数据时代，海量的数据如何进行有效的整理、如何快速提取其中价值高的信息、如何解决“数据丰富而信息贫乏”等现象； 在此背景下，爬取技术...
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月17日
已采纳回答
10月9日-
创建了问题
10月3日
悬赏问题
- ¥20 怎么用dlib库的算法识别小麦病虫害
- ¥15 华为ensp模拟器中S5700交换机在配置过程中老是反复重启
- ¥15 java写代码遇到问题，求帮助
- ¥15 uniapp uview http 如何实现统一的请求异常信息提示？
- ¥15 有了解d3和topogram.js库的吗？有偿请教
- ¥100 任意维数的K均值聚类
- ¥15 stamps做sbas-insar，时序沉降图怎么画
- ¥15 买了个传感器，根据商家发的代码和步骤使用但是代码报错了不会改，有没有人可以看看
- ¥15 关于#Java#的问题，如何解决？
- ¥15 加热介质是液体，换热器壳侧导热系数和总的导热系数怎么算