要爬取的网页从控制台看不到接口信息

Question

Python 如果想要爬取的网页从控制台看不到接口信息应该如何爬取想要的内容 或者说针对这种需求应该从哪方面入手学习

Answer 1

因为他是异步加载的。

解决方法：
1、一般爬取到的内容和网页上的不一样，可能是请求异常或者是异步加载导致的，需要去定位数据来源。
2、打开控制台全局搜索151.4，发现没结果，那么继续搜索1514，发现有搜索结果。
3、手动确认接口和数据是否正确。

img

4、经对比后，该数据确实为页面数据，那么可以请求异步加载的接口。比如打开地址 https://api.bilibili.com/pgc/view/web/season?ep_id=508404
5、获取响应内容，通过json转换后，提取数据即可。