苏宁爬虫源代码与实际页面不符

Question

本人小白，刚刚入门爬虫，用seleniem+beautifulsoup爬取苏宁手机数据，现在有一个问题，用seleniem模拟打开网页得到的源代码
中的手机数与实际在网站中看到的不符。苏宁手机第一页一共120个手机，但是源代码只到前30个，求教大佬

Answer 1

你打开的第一页，其实在你往下划的时候网页加载了XHR，所以你使用seleniem也需要模拟下滑

driver.execute_script("window.scrollBy(0,500)")  ##下滑500个像素

在加载后，在进行爬取

另 https://blog.csdn.net/weixin_39416561/article/details/82018864 个人使用requests 爬取苏宁店铺商品信息的代码，希望能帮到你