陈锬 2021-03-07 15:54 采纳率: 50%
浏览 320
已采纳

使用selenium爬取数据时,数据没展开提取不到怎么办?

1.这是代码

from time import sleep
from selenium import webdriver
import time
import random
import csv

import pandas as pd
# 驱动文件路径
driverfile_path = r'C:\Users\cctcs\AppData\Local\Google\Chrome\Application\chromedriver.exe'
# driver=webdriver.Chrome()
# 启动浏览器
driver = webdriver.Chrome(executable_path=driverfile_path)
driver.maximize_window() # 浏览器窗口最大化
driver.get(r'https://voice.baidu.com/act/newpneumonia/newpneumonia?fraz=partner&paaz=gjyj')


text = driver.find_element_by_xpath('//div[@id="ptab-1"]')
print(text.text)

2.这是代码爬取出的数据

3.爬取的网页:

使用谷歌浏览器打开,网址是:https://voice.baidu.com/act/newpneumonia/newpneumonia?fraz=partner&paaz=gjyj

4.这是要爬取的数据

因为这网页本身数据没有展开所以爬取不到展开里面的内容。求大佬指教!!!

  • 写回答

2条回答 默认 最新

  • 放风喽 2021-03-07 19:08
    关注

    两个方法一个 是找到后端接口,直接请求后端接口

    另一个是操作selenium点击加载

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 multisim中关于74ls192n和DSWPK开关仿真图分析(减法计数器)
  • ¥15 基于8255的交通灯设计
  • ¥15 w3wp,exe 中发生未处理的 Microsoft ,NETFramework 异常。
  • ¥20 C51单片机程序及仿真(加减器)
  • ¥15 AQWA | 水动力分析 二阶波浪力
  • ¥15 c语言题目:成绩管理系统
  • ¥22 可否请教一下matlab未定义与 'double' 类型的输入参数相对应的函数 'finverse'是什么情况
  • ¥15 利用数据集,用机器学习模型对股市预测,私我
  • ¥15 tauri + vue3 如何实现在一个页面上局部加载外部网页
  • ¥15 系统(子系统)设计(结构设计)说明(SSDD)