为什么爬取到的内容和网页上的不一样呢？求解决方法

Question

问题遇到的现象和发生背景

问题相关代码，请勿粘贴截图

运行结果及报错内容

我的解答思路和尝试过的方法

我想要达到的结果

Answer 1

因为他是异步加载的。

解决方法：
1、一般爬取到的内容和网页上的不一样，可能是请求异常或者是异步加载导致的，需要去定位数据来源。
2、打开控制台全局搜索151.4，发现没结果，那么继续搜索1514，发现有搜索结果。
3、手动确认接口和数据是否正确。

4、经对比后，该数据确实为页面数据，那么可以请求异步加载的接口。比如打开地址 https://api.bilibili.com/pgc/view/web/season?ep_id=508404
5、获取响应内容，通过json转换后，提取数据即可。

---

借着回答问题，推一下新书。

《爬虫逆向进阶实战》书籍介绍_考古学家lx的博客-CSDN博客 本书以爬虫逆向方向的相关技术和岗位要求进行撰写，结合作者多年工作经验，总结了爬虫的架构体系、主流框架和未来发展。书中包括各种自动化工具、抓包工具、逆向工具的使用。核心内容以Web Js逆向、安卓逆向、小程序逆向为主，结合三十个实战案例进行分析，内容从易到难一应俱全，并附有视频教程。还对主流的反爬虫技术进行了讲解，包括传输协议、验证码体系、字符集映射、行为和指纹等。本书是目前全网最为详细和最具有深度的爬虫逆向书籍之一。 https://blog.csdn.net/weixin_43582101/article/details/122611705