关于爬虫爬取动态网站的问题

Question

本人用BeautifulSoup爬取一个网站内容，但是操作中发现，网页下滑会加载新的内容，致使爬取信息不完整。想请问如何可以解决？
代码如下：

Answer 1

你这个网页中的内容通过 js代码读取外部json数据来动态更新的。
可以通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。

或者参考selenium滚动到页面底部的几种解决方案

selenium滚动到页面底部的几种解决方案 - mik99 - 博客园 在用selenium获取页面时,很多时候需要将滚动条拖到页面底部,下面总结了几种方法. 目录 location_once_scrolled_into_view ActionChains js方法scr https://www.cnblogs.com/mik-hello/p/15476839.html

让页面滚动底部加载了更多数据之后再获取

如有帮助，请点击我的回答下方的【采纳该答案】按钮帮忙采纳下，谢谢!