网页爬虫，F12可以看到的内容，但爬出来的源码里没有

想要做一个自动爬取公司内网word的一个工具，但是在爬取日期的时候，发现爬出来的源码缺失了很多信息，跟F12看到的不一样。

尝试用了xpath和正则表达式解析，解析出来的全是空列表。

搜了很多，基本都说是异步加载的问题。
但查Network里看到的是第一条出来的，Doc里的内容。
图片说明

所以应该不是异步加载的关系。
图片说明
这是爬出来的源码，里面只有一些标题，并不包含实际内容
——————————

卡着好几天了，实在没辙了，哪位大佬有啥办法没。

写回答
好问题 0 提建议
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
weixin_39411955 2020-10-12 09:39
关注
把浏览器源码，跟爬取的源码全部贴出来

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决
无用 9
评论打赏
分享
举报
编辑

预览
轻敲空格完成输入
显示为

卡片

标题

链接
评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

编辑

预览

报告相同问题？

关注问题

关于使用python实现的网页爬虫程序卡死的问题 python 有问必答爬虫
2021-08-07 05:04

回答 3 已采纳你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程如果有用，希望采纳哦~
爬虫在原代码里面没有，但是在网页里面有的东西 python selenium 爬虫
2023-01-07 12:57

回答 1 已采纳是不是通过xpath爬取时，没有找到对应的元素，定位的表达式怎么写的？
python爬虫爬到的网页内容不完全 python 爬虫网络
2021-10-31 15:19

回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
爬虫+python+爬取豆瓣相关数据源码+demo
2024-04-09 13:22

总之，Python爬虫结合requests和BeautifulSoup库可以实现基本的网页数据抓取。针对不同的需求，如登录、动态加载等，可以使用更高级的技术和框架。在实际操作中，一定要遵守网络爬虫的道德规范，尊重网站的robots....
python爬虫网页标签个别无法读取 python 开发语言有问必答爬虫
2022-04-05 14:09

回答 3 已采纳因为个别标签字典中没有bond_nm和bond_nm_tip键 data2 = data_get['bond_nm'] data5 = data_get['bond_nm_tip']
python初级爬虫爬出来没有数据 python 爬虫
2022-08-30 12:16

回答 1 已采纳你打印data 的值瞅瞅，里面根本没有你想要的数据。这个数据是其他url返回的。你在网页右键点击检查，在选择网络，然后刷新页面，会看见很多url请求，取看这个url请求的响应，那个返回了你要的数据，你
Python爬虫requests.get方法无法显示div中折叠内容 https python 有问必答爬虫
2021-11-27 11:16

回答 2 已采纳该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
python爬虫原理及源码解析(入门)
2023-04-21 01:29

溯弥的博客如果将互联网比作一张大的蜘蛛网，数据便是存放在蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物(数据)爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序。
Python爬虫requests反还内容与网页内容不相同 python 有问必答
2022-03-08 14:50

回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
python爬虫如何垂直爬取网页内容？ python 开发语言爬虫
2021-11-29 11:12

回答 1 已采纳 img = requests.get(url=img_url) # img_url：图片的路径 with open('{}.jpg'.format(n), 'wb') as f: # n：文件名
学习python爬虫的selenium时，百度网页无法跳转出来 python selenium 爬虫
2022-09-07 12:57

回答 2 已采纳 http://chromedriver.storage.googleapis.com/index.html下载谷歌浏览器相应的驱动选择下载与chrome浏览器相匹配的chromedriver版本，解压
python爬虫爬到的网页源码和按F12查看的网页源码不一致问题
2019-04-17 08:01

Mr_Cyclone的博客是由于页面没有加载完全，加入延时即可
python网络爬虫（批量爬取网页图片）
2020-12-22 16:11

python网络爬虫（批量爬取网页图片），主要使用requests库和BeautifulSoup库，没有的请先去安装。接下来我会完整地分析整个爬取的过程，本次以http://www.netbian.com/该网站为例，网站页面如下：首先我们分析...
Python 爬虫（抓取网页内容简单实现）
2022-04-10 05:27

Lobster0722的博客 1. 首先第一步我们先找到自己抓取的网站网址以及内容在这里我使用的是https://m.douban.com/group/729027/ 抓取的内容是这个网页下的：所有的讨论 2. 对这个网页的html进行解析，找到讨论这一栏的html源码 ...
python爬虫爬取网页图片
2022-12-22 10:05

chenruhan_QAQ_的博客 python爬虫爬取网页上的图片
没有解决我的问题, 去提问

网页爬虫，F12可以看到的内容，但爬出来的源码里没有

2条回答 默认 最新

2条回答默认最新