牛爷爷爱学python 2023-09-18 14:51 采纳率: 12.5%
浏览 28

python爬虫requests返回值不完整

python爬虫遇到的问题:用request.get请求网页,为什么返回的网页数据不完整?整个html页面中有head和body,只返回了head里面的内容,body里面的内容并没有返回,具体是什么原因导致的,有什么解决办法吗?
这是网页的代码

img


这是返回的数据,只有head部分

img

刚开始以为终端接收有长度限制,于是我就输出到了一个记事本文件里,返回值依然不完整

img


这个是我的源代码

img

  • 写回答

3条回答 默认 最新

  • RivaJ 2023-09-18 15:05
    关注

    这个网站是用vue写的,你通过request获取的html内只有<div id="app" />,而网站内容都是通过后续js加载的。
    要解决这个问题,可以使用带虚拟浏览器内核的爬虫框架,渲染这个页面,设置延迟,再进行爬取。
    我对Python爬虫只有较浅的认识,如果是要爬取此类网站的数据,我会优先分析其接口调用。
    但可保证上述方案是经过实践的。

    评论 编辑记录

报告相同问题?

问题事件

  • 创建了问题 9月18日

悬赏问题

  • ¥15 有偿求苍穹外卖环境配置
  • ¥15 代码在keil5里变成了这样怎么办啊,文件图像也变了,
  • ¥20 Ue4.26打包win64bit报错,如何解决?(语言-c++)
  • ¥15 clousx6整点报时指令怎么写
  • ¥30 远程帮我安装软件及库文件
  • ¥15 关于#自动化#的问题:如何通过电脑控制多相机同步拍照或摄影(相机或者摄影模组数量大于60),并将所有采集的照片或视频以一定编码规则存放至规定电脑文件夹内
  • ¥20 深信服vpn-2050这台设备如何配置才能成功联网?
  • ¥15 Arduino的wifi连接,如何关闭低功耗模式?
  • ¥15 Android studio 无法定位adb是什么问题?
  • ¥15 C#连接不上服务器,