学习用seleium学习爬虫时遇到的问题

Question

问题遇到的现象和发生背景

学习爬虫，用selenium爬Airbnb。

问题相关代码，请勿粘贴截图

from selenium import webdriver
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))

运行结果及报错内容

5

进程已结束,退出代码0

我的解答思路和尝试过的方法

理论上一个页面应该有20条信息，但每次只爬出来5个，不知道为啥。

我想要达到的结果

希望能解释出错原因。

Answer 1

页面初始就是只有5个class是_qlq27g的div
之后是用js动态更新到20个的
用time.sleep(5)延时一下,等到js动态更新后再获取即可
你题目的解答代码如下：

from selenium import webdriver
import time
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
time.sleep(5)  #延时一下,等到js动态更新后再获取
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))

如有帮助，请点击我的回答下方的【采纳该答案】按钮帮忙采纳下，谢谢!