用的beautifulsoap，其他网站都能爬取，但这个网站不行。
这个网站用的是webp图片，标签依旧是img，可以直接查看到图片的地址，但是爬取得到的网站解析出来缺失了关键内容。
换了htmlparser，html5lib都不行。
请问能否有人能解答为什么吗？
爬取静态网页，部分内容缺失，<div pathmatch = >这一块全部消失了
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
CSDN专家-showbo 2021-10-21 17:21关注题主是用requests获取网页内容？requests只能获取源代码，ajax动态生成的需要找到接口，requests请求接口获取数据。如果不是ajax动态生成，源代码里面又找不到，那么数据可能是放在js文件里面，需要找到数据文件后requests请求
要么的得用selenium来解析相关js脚本后获取数据
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2021-10-21 17:00回答 1 已采纳 题主是用requests获取网页内容？requests只能获取源代码，ajax动态生成的需要找到接口，requests请求接口获取数据。如果不是ajax动态生成，源代码里面又找不到，那么数据可能是放在
- 2022-07-21 16:22回答 3 已采纳 全局守卫写错了应该定义不需要被登录拦截的路由数组，比如 const notFilterComponents = ['login', 'register', 'findPassword', '404']
- 2022-06-19 14:12回答 2 已采纳 问题终于解决，解决方案如下：第一步： <dependency> <groupId>com.fasterxml</groupId> <artif
- 2022-08-30 14:01No丶slovenly的博客 v-on:click.once="click('一次性事件')">一次性事件div> <div class="box" v-on:click.self="click('事件本事')">事件本事div> @scroll.passive：滚动事件 <div @scroll.passive="scroll">...div> @click.left：鼠标...
- 2022-02-12 17:48
spring+Mybatis+Druid 报错ERROR {dataSource-1} init error java.lang.NullPointerException: null
java
spring boot
后端
回答 1 已采纳 循环依赖了，既然你自定义了datasource，启动类移除掉数据源的自动装配，@SpringBootApplication(exclude = DataSourceAutoConfiguration. - 2017-12-21 10:24回答 1 已采纳 In app module file where you import routing module add useHash:true parameter. For example: Router
- 2016-09-10 19:00回答 1 已采纳 Yes there is, it's called fnmatch() var_dump(fnmatch('/path/*/some?file*.txt', '/path/to/some_fil
- 2018-03-29 00:00dingshi7798的博客 angular私有模块 在本文中，我们将向Angular应用程序添加身份验证，并了解如何保护应用程序中的节免受未经授权的访问。 本文是SitePoint Angular... 第1部分-启动并运行我们的Todo应用程序的第一个版本 第2部分-...
- 2023-02-05 17:34回答 3 已采纳 springboot3开始javax包改成了jakarta，而swagger-oas等包中依然使用的是javax所以报错。另外springfox已经过时了，两年没更新了，并且不支持OpenAPI3 标
- 回答 3 已采纳 自己去jar里面找吧，有这个东西，就能代码提示，而且，上面人说得对，你写双引号，能有代码提示吗
- 2017-11-26 10:36回答 5 已采纳 main方法不对，（String[] args） 少一个大括号 这是你报错的原因，具体代码还没看
- 2018-04-30 00:30weixin_30911451的博客 return this.todos.every(t => t.done); } 赋值 set toggleAll(val) { this.todos.forEach(t => t.done = val); } 路由的基本处理 ng generate module app-routing --flat --module=app 在 app-routing....
- 2020-09-09 14:04weixin_26736149的博客 为此，您需要在根目录中打开tsconfig.json文件，并将以下内容添加到editorOptions部分中，我通常将其插入到moduleResolution的下方和importHelpers的前面。 "paths": { "~app/*": ["src/app/*"], "~assets/*": [...
- 2020-08-14 10:49cumi6497的博客 Angular具有泛型，静态类型化等功能，还有一些ES6功能。 版本记录 (Version History) Google released the initial version of AngularJS on October 20, 2010. The stable release of AngularJS was on December ...
- 2019-10-14 23:45李小白杂货铺的博客 <div v-bind:id="'list-' + id"></div> <!-- 有个限制就是，每个绑定都只能包含单个表达式，所以下面的例子都不会生效。 --> <!-- 这是语句，不是表达式 --> {{ var a = 1 }} <!-- 流控制也不会生效，请使用三元...
- 2021-07-01 17:12学无止路的博客 在这一部分，我们主要了解以下3个问题： 什么是SpringBoot 为什么要学习SpringBoot SpringBoot的特点 1.1 什么是SpringBoot SpringBoot是Spring项目中的一个子工程，与我们所熟知的Spring-framework 同属于spring...
- 2019-09-16 03:56chuanguan1820的博客 [TOC] Go语言web开发学习 写的比较早, 当时的理解可能不到位,有不对的地方,请评论告知. ...部分内容和我的另一个笔记<Golang学习笔记>有点重合,就当复习了. 基本上没有什么难度,主要内容就是些WEB方面...
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月29日
已采纳回答
10月21日-
修改了问题
10月21日
-
修改了问题
10月21日
- 展开全部
悬赏问题
- ¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
- ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
- ¥15 手机接入宽带网线，如何释放宽带全部速度
- ¥30 关于#r语言#的问题：如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
- ¥15 ETLCloud 处理json多层级问题
- ¥15 matlab中使用gurobi时报错
- ¥15 这个主板怎么能扩出一两个sata口
- ¥15 不是，这到底错哪儿了😭
- ¥15 2020长安杯与连接网探
- ¥15 关于#matlab#的问题：在模糊控制器中选出线路信息，在simulink中根据线路信息生成速度时间目标曲线（初速度为20m/s，15秒后减为0的速度时间图像）我想问线路信息是什么