爬取网页代码与浏览器不同，爬不到目标文本

Question

爬取网页文本过程中，发现爬取的代码与浏览器看到的代码不同，只爬取了标题的部分，代码与图如下：

要怎么才能爬到完整的代码，并且里面的文本该怎么解析

Answer 1

爬虫少用开发人员管理器！因为这里的源代码是经过 JavaScript 处理过的，可能和爬虫得到的源代码不一样！
要想要以 js 处理过的页面为基础进行爬虫，就要用 Selenium 之类的动态爬虫了。