weixin_46555120 2021-09-12 17:00 采纳率: 50%
浏览 31

求解,为什么有时候python爬取的页面有许多的元素显示不出来?

图一:古诗文网的网页

img

图二:我爬取源码保存后,运行的结果

img

还有一次就是爬取另外一个网站的登录界面,运行的页面中的几张图片、登录和注册按钮上的字符、还有登录必需的验证码都显示不出来。

img

劳烦大家提点。

  • 写回答

1条回答 默认 最新

  • 关注

    因为这个网页中的内容是通过js代码读取外部json数据来动态更新的。
    requests只能获取网页的静态源代码,动态更新的内容取不到。
    对于动态更新的内容要用selenium 来爬取。

    或者是通过F12控制台分析页面数据加载的链接,找到真正json数据的地址进行爬取。

    评论

报告相同问题?

问题事件

  • 创建了问题 9月12日

悬赏问题

  • ¥15 报酬10000,做一个简单的换汇网站
  • ¥15 关于#vue.js#的问题:word excel和ppt预览问题语言-javascript)
  • ¥15 Apache显示系统错误3该如何解决?
  • ¥30 uniapp小程序苹果手机加载gif图片不显示动效?
  • ¥20 js怎么实现跨域问题
  • ¥15 C++dll二次开发,C#调用
  • ¥15 请教,如何使用C#加载本地摄像头进行逐帧推流
  • ¥15 Python easyocr无法顺利执行,如何解决?
  • ¥15 为什么会突然npm err!啊
  • ¥15 java服务连接es读取列表数据,服务连接本地es获取数据时的速度很快,但是换成远端的es就会非常慢,这是为什么呢