reclusem
2018-10-16 03:13
采纳率: 100%
浏览 1.2k
已采纳

苏宁爬虫源代码与实际页面不符

本人小白,刚刚入门爬虫,用seleniem+beautifulsoup爬取苏宁手机数据,现在有一个问题,用seleniem模拟打开网页得到的源代码
中的手机数与实际在网站中看到的不符。苏宁手机第一页一共120个手机,但是源代码只到前30个,求教大佬

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • lyhsdy 2018-10-16 03:28
    已采纳

    你打开的第一页,其实在你往下划的时候网页加载了XHR,所以你使用seleniem也需要模拟下滑

    driver.execute_script("window.scrollBy(0,500)")  ##下滑500个像素
    
    

    在加载后,在进行爬取

    https://blog.csdn.net/weixin_39416561/article/details/82018864 个人使用requests 爬取苏宁店铺商品信息的代码,希望能帮到你

    已采纳该答案
    打赏 评论

相关推荐 更多相似问题