图一:古诗文网的网页
图二:我爬取源码保存后,运行的结果
还有一次就是爬取另外一个网站的登录界面,运行的页面中的几张图片、登录和注册按钮上的字符、还有登录必需的验证码都显示不出来。
劳烦大家提点。
图一:古诗文网的网页
图二:我爬取源码保存后,运行的结果
还有一次就是爬取另外一个网站的登录界面,运行的页面中的几张图片、登录和注册按钮上的字符、还有登录必需的验证码都显示不出来。
劳烦大家提点。
因为这个网页中的内容是通过js代码读取外部json数据来动态更新的。
requests只能获取网页的静态源代码,动态更新的内容取不到。
对于动态更新的内容要用selenium 来爬取。
或者是通过F12控制台分析页面数据加载的链接,找到真正json数据的地址进行爬取。