PYTHON 爬取到页面的ul标签为空怎么办呀

Question

大噶好哇，在下最近爬虫遇到一个问题，有木有带佬给指个路子哇

print(requests.get(url,headers=headers).text)

输出之后，定位到我想要的那个ul下面，发现直接就是

尝试用selenium来输出页面，也是不能出现ul标签下的内容，然后页面解析也找不到ul下的内容，但是原网页是ul标签下有li标签的

可以获取到ul标签下的li标签。

Answer 1

用语句print(requests.get(url,headers=headers).text)输出一下页面代码，如果没有ul->li的标签和内容，那么网页数据就是动态加载的。使用selenium或者F12打开网页开发者工具，选择Fetch/XHR，F5刷新数据页面,或点击控件，查找加载的数据链接。找到后，用相应的请求方法（post或get)，加上请求参数对数据进行请求。