cdsn_Python 2022-07-17 22:19 采纳率: 69%
浏览 44
已结题

学习用seleium学习爬虫时遇到的问题

问题遇到的现象和发生背景

学习爬虫,用selenium爬Airbnb。

问题相关代码,请勿粘贴截图

from selenium import webdriver
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))

运行结果及报错内容

5

进程已结束,退出代码0

我的解答思路和尝试过的方法

理论上一个页面应该有20条信息,但每次只爬出来5个,不知道为啥。

我想要达到的结果

希望能解释出错原因。

  • 写回答

2条回答 默认 最新

  • 关注

    页面初始就是只有5个class是_qlq27g的div
    之后是用js动态更新到20个的
    用time.sleep(5)延时一下,等到js动态更新后再获取即可
    你题目的解答代码如下:

    from selenium import webdriver
    import time
    link="https://www.airbnb.cn/s/Shenzhen--China/homes"
    driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
    driver.get(link)
    time.sleep(5)  #延时一下,等到js动态更新后再获取
    rent_list=driver.find_elements_by_css_selector("div._qlq27g")
    print(len(rent_list))
    

    如有帮助,请点击我的回答下方的【采纳该答案】按钮帮忙采纳下,谢谢!

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 7月25日
  • 已采纳回答 7月17日
  • 创建了问题 7月17日

悬赏问题

  • ¥15 我下载图形界面重启完就变成这样了,打字也打不了,动也动不了,该怎么解决(操作系统-centos)
  • ¥15 VBA中在窗体中遍历所有checkbox控件,提取出被选中的checkbox的caption值
  • ¥15 在Ubuntu上有什么命令,或者是系统文件能告诉我链接nvme ssd的pcie槽位是不是支持热插拔功能?
  • ¥15 ansys license许可证问题
  • ¥20 QQ号和密码都能正常登录微信 QQ号和密码登录微信显示密码错误
  • ¥15 qiankun主应用注册子应用提示跨域
  • ¥15 单片机RTOS Kernel与应用分离开发,Kernel如何调起应用?
  • ¥15 快手小店商家版APP怎么第三方APP跳转到指定用户聊天界面
  • ¥15 为什么AVL fire软件仿真时的步长改变了,仿真结果也会改变
  • ¥100 如何帮我写一个java小游戏