阿☆强 2022-10-10 13:59 采纳率: 100%
浏览 40
已结题

selenium用css定位元素,已经打印输出之后又报错说找不到元素

用selenium爬取数据css定位元素也没问题,都正常打印输出了,然后又报错说找不到元素
我也添加等待时间了,元素也不在frame中,希望指点一下


from selenium.webdriver import Chrome
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import pandas as pd

web = Chrome()  # 实例化一个浏览器对象

url = "https://www.zhipin.com/?ka=header-home"
web.get(url)
web.maximize_window()
web.implicitly_wait(10)
# time.sleep(3)

data = {
    '职位名称': [],
    '工作地址': [],
    '岗位薪资': [],
    '经验要求': [],
    '公司名称': [],
    '公司规模': [],
    '技能要求': [],
    '公司福利': []
}

# 通过css选择器定位元素
web.find_element(By.CSS_SELECTOR, '.ipt-search').send_keys('数据分析', Keys.ENTER)

web.implicitly_wait(30)  # 隐式等待 等浏览器数据加载完成后 就进行下一步操作
# time.sleep(3)


def get_job_info():
    li_list = web.find_elements(By.CSS_SELECTOR, '.job-list-box li')
    for li in li_list:
        job_name = li.find_element(By.CSS_SELECTOR, '.job-name').text
        job_address = li.find_element(By.CSS_SELECTOR, '.job-area').text
        price = li.find_element(By.CSS_SELECTOR, '.salary').text
        yaoqiu = li.find_element(By.CSS_SELECTOR, '.job-info .tag-list').text
        company_name = li.find_element(By.CSS_SELECTOR, '.company-info .company-name a').text
        # company_type = li.find_element(By.CSS_SELECTOR, '.company-info ul li:nth-child(1)').text
        # company_rongzi = li.find_element(By.CSS_SELECTOR, '.company-info ul li:nth-child(2)').text
        company_size = li.find_element(By.CSS_SELECTOR, '.company-info ul li:nth-child(3)').text
        job_skill = li.find_element(By.CSS_SELECTOR, '.job-card-footer .tag-list').text
        fuli = li.find_element(By.CSS_SELECTOR, '.info-desc').text
        print(job_name, job_address, price, yaoqiu, company_name, company_size, job_skill, fuli, sep='|')

        data['职位名称'].append(job_name)
        data['工作地址'].append(job_address)
        data['岗位薪资'].append(price)
        data['经验要求'].append(yaoqiu)
        data['公司名称'].append(company_name)
        data['公司规模'].append(company_size)
        data['技能要求'].append(job_skill)
        data['公司福利'].append(fuli)
        df = pd.DataFrame(data)
        df.to_excel('SF.xlsx', index=False)
    web.find_element(By.CSS_SELECTOR, '.ui-icon-arrow-right').click()


for i in range(3):
    print(f'正在获取第{i}页数据')
    web.implicitly_wait(30)
    # time.sleep(5)
    get_job_info()

web.quit()  # 自动关闭浏览器
print("爬取完毕!")

img

img

  • 写回答

4条回答 默认 最新

  • honestman_ 2022-10-10 14:08
    关注

    这个问题可能是因为第一个元素有这个class能找到,第二个没有所以报错了,具体情况看一页面

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 10月18日
  • 已采纳回答 10月10日
  • 创建了问题 10月10日

悬赏问题

  • ¥15 微信会员卡等级和折扣规则
  • ¥15 微信公众平台自制会员卡可以通过收款码收款码收款进行自动积分吗
  • ¥15 随身WiFi网络灯亮但是没有网络,如何解决?
  • ¥15 gdf格式的脑电数据如何处理matlab
  • ¥20 重新写的代码替换了之后运行hbuliderx就这样了
  • ¥100 监控抖音用户作品更新可以微信公众号提醒
  • ¥15 UE5 如何可以不渲染HDRIBackdrop背景
  • ¥70 2048小游戏毕设项目
  • ¥20 mysql架构,按照姓名分表
  • ¥15 MATLAB实现区间[a,b]上的Gauss-Legendre积分