cdsn_Python 2022-07-17 22:19 采纳率: 69%
浏览 44
已结题

学习用seleium学习爬虫时遇到的问题

问题遇到的现象和发生背景

学习爬虫,用selenium爬Airbnb。

问题相关代码,请勿粘贴截图

from selenium import webdriver
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))

运行结果及报错内容

5

进程已结束,退出代码0

我的解答思路和尝试过的方法

理论上一个页面应该有20条信息,但每次只爬出来5个,不知道为啥。

我想要达到的结果

希望能解释出错原因。

  • 写回答

2条回答 默认 最新

  • 关注

    页面初始就是只有5个class是_qlq27g的div
    之后是用js动态更新到20个的
    用time.sleep(5)延时一下,等到js动态更新后再获取即可
    你题目的解答代码如下:

    from selenium import webdriver
    import time
    link="https://www.airbnb.cn/s/Shenzhen--China/homes"
    driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
    driver.get(link)
    time.sleep(5)  #延时一下,等到js动态更新后再获取
    rent_list=driver.find_elements_by_css_selector("div._qlq27g")
    print(len(rent_list))
    

    如有帮助,请点击我的回答下方的【采纳该答案】按钮帮忙采纳下,谢谢!

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 7月25日
  • 已采纳回答 7月17日
  • 创建了问题 7月17日

悬赏问题

  • ¥60 优博讯DT50高通安卓11系统刷完机自动进去fastboot模式
  • ¥15 minist数字识别
  • ¥15 在安装gym库的pygame时遇到问题,不知道如何解决
  • ¥20 uniapp中的webview 使用的是本地的vue页面,在模拟器上显示无法打开
  • ¥15 网上下载的3DMAX模型,不显示贴图怎么办
  • ¥15 关于#stm32#的问题:寻找一块开发版,作为智能化割草机的控制模块和树莓派主板相连,要求:最低可控制 3 个电机(两个驱动电机,1 个割草电机),其次可以与树莓派主板相连电机照片如下:
  • ¥15 Mac(标签-IDE|关键词-File) idea
  • ¥15 潜在扩散模型的Unet特征提取
  • ¥15 iscsi服务无法访问,如何解决?
  • ¥15 感应式传感器制作的感应式讯响器