python爬虫遇到的问题:用request.get请求网页,为什么返回的网页数据不完整?整个html页面中有head和body,只返回了head里面的内容,body里面的内容并没有返回,具体是什么原因导致的,有什么解决办法吗?
这是网页的代码
这是返回的数据,只有head部分
刚开始以为终端接收有长度限制,于是我就输出到了一个记事本文件里,返回值依然不完整
这个是我的源代码
python爬虫遇到的问题:用request.get请求网页,为什么返回的网页数据不完整?整个html页面中有head和body,只返回了head里面的内容,body里面的内容并没有返回,具体是什么原因导致的,有什么解决办法吗?
这是网页的代码
刚开始以为终端接收有长度限制,于是我就输出到了一个记事本文件里,返回值依然不完整
这个网站是用vue写的,你通过request获取的html内只有<div id="app" />
,而网站内容都是通过后续js加载的。
要解决这个问题,可以使用带虚拟浏览器内核的爬虫框架,渲染这个页面,设置延迟,再进行爬取。
我对Python爬虫只有较浅的认识,如果是要爬取此类网站的数据,我会优先分析其接口调用。
但可保证上述方案是经过实践的。