车神弗兰克 2021-10-21 09:00 采纳率: 100%
浏览 47
已结题

爬取静态网页,部分内容缺失,<div pathmatch = >这一块全部消失了

img

img

img

img

img

用的beautifulsoap,其他网站都能爬取,但这个网站不行。
这个网站用的是webp图片,标签依旧是img,可以直接查看到图片的地址,但是爬取得到的网站解析出来缺失了关键内容。
换了htmlparser,html5lib都不行。
请问能否有人能解答为什么吗?

  • 写回答

1条回答 默认 最新

  • CSDN专家-showbo 2021-10-21 09:21
    关注

    题主是用requests获取网页内容?requests只能获取源代码,ajax动态生成的需要找到接口,requests请求接口获取数据。如果不是ajax动态生成,源代码里面又找不到,那么数据可能是放在js文件里面,需要找到数据文件后requests请求

    要么的得用selenium来解析相关js脚本后获取数据

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
编辑
预览

报告相同问题?

问题事件

  • 系统已结题 10月28日
  • 已采纳回答 10月21日
  • 修改了问题 10月21日
  • 修改了问题 10月21日
  • 展开全部

悬赏问题

  • ¥15 我如果只想表示节点的结构信息,使用GCN方法不进行训练可以吗
  • ¥15 GPTs营销指令提示词和创建方案
  • ¥15 QT6将音频采样数据转PCM
  • ¥15 本地安装org.Hs.eg.dby一直这样的图片报错如何解决?
  • ¥15 下面三个文件分别是OFDM波形的数据,我的思路公式和我写的成像算法代码,有没有人能帮我改一改,如何解决?
  • ¥15 Ubuntu打开gazebo模型调不出来,如何解决?
  • ¥100 有chang请一位会arm和dsp的朋友解读一个工程
  • ¥50 求代做一个阿里云百炼的小实验
  • ¥15 查询优化:A表100000行,B表2000 行,内存页大小只有20页,运行时3页,设计两个表等值连接的最简单的算法
  • ¥15 led数码显示控制(标签-流程图)