关于#python#的问题：selenium打开豆瓣短评网页

Question

selenium打开豆瓣短评网页，怎么继续获取短评的url

import requests
from bs4 import BeautifulSoup
import pandas as pd
import os
from time import sleep
import pymongo
import random
import time
from selenium.webdriver.common.by import By
from selenium import webdriver

word = input('请你输入你需要找的电影：')

options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome()
driver.maximize_window()
driver.get('https://movie.douban.com/')
driver.implicitly_wait(10)
time.sleep(3)

# 点击页面上的一个链接
driver.find_element(By.XPATH,'//*[@id="db-global-nav"]/div/div[1]/a').click()

time.sleep(1)

# 点击页面上的一个元素
driver.find_element(By.XPATH,'//*[@id="account"]/div[2]/div[2]/div/div[1]/ul[1]/li[2]').click()

time.sleep(1)

# 在用户名输入框中输入用户名
driver.find_element(By.ID,'username').send_keys('15761473658')

# 在密码输入框中输入密码
driver.find_element(By.ID,'password').send_keys('ahd7459420')

time.sleep(5)

# 点击页面上的一个链接
driver.find_element(By.XPATH,'//*[@id="account"]/div[2]/div[2]/div/div[2]/div[1]/div[4]/a').click()

time.sleep(10)

# 在搜索框中输入用户输入的电影名称
driver.find_element(By.XPATH,'//*[@id="inp-query"]').send_keys(word)

# 点击搜索按钮
driver.find_element(By.XPATH,'//*[@id="db-nav-movie"]/div[1]/div/div[2]/form/fieldset/div[2]/input').click()
driver.find_element(By.XPATH,'//*[@id="root"]/div/div[2]/div[1]/div[1]/div/div/div/div[1]/a').click()
driver.find_element(By.XPATH,'//*[@id="comments-section"]/div[1]/h2/span/a').click()
time.sleep(3)

Answer 1

# 点击搜索按钮
driver.find_element(By.XPATH, '//*[@id="db-nav-movie"]/div[1]/div/div[2]/form/fieldset/div[2]/input').click()
time.sleep(0.3)
driver.find_element(By.XPATH, '//*[@id="root"]/div/div[2]/div[1]/div[1]/div/div/div/div[1]/a').click()
time.sleep(0.3)
driver.find_element(By.XPATH, '//*[@id="comments-section"]/div[1]/h2/span/a').click()

##//*[@id="comments"]/div[1]/div[2]/p/span    第一条评论
##//*[@id="comments"]/div[20]/div[2]/p/span    最后一条评论

最后这些点击事件最好中间有些间隔，然后其中第一条评论和最后一条评论不难发现只是div的编号改变，所以可以利用这个编号循环获取评论内容。另外，您的账号密码漏出来了，登入也有滑动验证需要考虑进去。