牛爷爷爱学python 2023-09-18 14:51 采纳率: 12.5%
浏览 123

python爬虫requests返回值不完整

python爬虫遇到的问题:用request.get请求网页,为什么返回的网页数据不完整?整个html页面中有head和body,只返回了head里面的内容,body里面的内容并没有返回,具体是什么原因导致的,有什么解决办法吗?
这是网页的代码

img


这是返回的数据,只有head部分

img

刚开始以为终端接收有长度限制,于是我就输出到了一个记事本文件里,返回值依然不完整

img


这个是我的源代码

img

  • 写回答

3条回答 默认 最新

  • RivaJ 2023-09-18 15:05
    关注

    这个网站是用vue写的,你通过request获取的html内只有<div id="app" />,而网站内容都是通过后续js加载的。
    要解决这个问题,可以使用带虚拟浏览器内核的爬虫框架,渲染这个页面,设置延迟,再进行爬取。
    我对Python爬虫只有较浅的认识,如果是要爬取此类网站的数据,我会优先分析其接口调用。
    但可保证上述方案是经过实践的。

    评论 编辑记录

报告相同问题?

问题事件

  • 创建了问题 9月18日