weixin_46623049 2022-09-14 00:09 采纳率: 0%
浏览 32

selenium写的dy爬虫无法获取webelement文本内容

问题遇到的现象和发生背景

写一个selenium的dy爬虫,可以获取webelement,但是无法获取text文本

问题相关代码,请勿粘贴截图
from selenium import webdriver
from selenium.webdriver import ChromeOptions
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC



option = ChromeOptions()
option.add_argument(
    'user-agent: "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.101 Safari/537.36"'
)
option.add_experimental_option('excludeSwitches', ['enable-automation'])  #防止系统检测到自动化工具
option.add_experimental_option('useAutomationExtension', False)
browser = webdriver.Chrome(options=option)
browser.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
   'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})

url = 'https://www.douyin.com/video/6989430095081442596'
browser.get(url)
try:
    WebDriverWait(browser, 10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="login-pannel"]/div[2]')))
    browser.find_element(By.XPATH, '//*[@id="login-pannel"]/div[2]').click()
    print('找到验证信息,已关闭')
except:
    pass
try:
    WebDriverWait(browser, 10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="login-pannel"]/div[2]')))
    browser.find_element(By.XPATH, '//*[@id="login-pannel"]/div[2]').click()
except:
    pass
    print('找到登录信息,已关闭')
video_url = browser.find_element(By.XPATH, '//*[@id="root"]/div/div[2]/div/div/div[1]/div[2]/div/div[1]/div/div[2]/div[2]/xg-video-container/video')
print(video_url)
print(video_url.id)
print(type(video_url))
print(video_url.get_attribute("innerText"))


browser.quit()


运行结果及报错内容
<selenium.webdriver.remote.webelement.WebElement (session="cf58002c6b552158605bc4c7c6fa862e", element="583e7f9a<span class="hljs-string">-1a71-4cdc-9143-4a9668391948")>
583e7f9a-1a71-4cdc-9143-4a9668391948
<class 'selenium.webdriver.remote.webelement.WebElement'>
  • 写回答

3条回答

      报告相同问题?

      相关推荐 更多相似问题

      问题事件

      • 创建了问题 9月14日

      悬赏问题

      • ¥15 数组并求平均数及各值与平均数之差
      • ¥15 Qt5.9.9+Vs2017遇到字符集问题
      • ¥25 win11无法启用windows功能
      • ¥15 spm-cat进行VBM分析出错
      • ¥50 c++dll中,在函数中创建线程,在函数执行完之后,线程也被销毁了,有什么办法可以让线程持续运行?
      • ¥15 微信小程序真机测试报错空白
      • ¥15 急需帮助!!!非常需要帮助
      • ¥15 idea运行后磁盘爆满
      • ¥15 matlab的编程题。。。。。。。。
      • ¥300 数字n拆分为m个数字之和的组合问题