爬虫如何获取未展开的div标签

Question

爬虫获取的网页源码如图

id="wrapper"的div标签无法展开，无法获取里面的内容，用selenium感觉效率太低了，能有什么办法吗？

实际div展开如下图

Answer 1

因为div里的内容，使用过ajax加载的，所以爬虫获取的网页源码是没有里面的内容的，这种数据相对来说方便一点，直接可以抓包拿到相应的ajax请求，然后直接reqeusts模块发送请求就可以拿到数据了，具体步骤：

1. 打开浏览器抓包页面，点击网络(network)-> XHR:
   

   

2. 刷新页面，在刷新的ajax响应里面找到你需要的数据
3. requests模拟发送此条请求就可以了