由北77 2023-04-06 21:17 采纳率: 100%
浏览 12
已结题

关于#python#的问题:python爬虫

请问为什么这个代码只能爬取每一页的第一条评论啊?是循环有什么问题吗?求解。

img

def drag_code(self):
    time.sleep(0.5) #在执行查询之前,加一个延时time.sleep(0.5) #在执行查询之前,加一个延时
    image_info = self.track.get_image()

all_comments = [] #所有评论
xingji = []
shijian = []
zp_time = []
tp_ner = []
zhichi = []
huifu = []

for i in range(13):
    for j in range(1,11):
        all_comments.append(browser.find_element(By.XPATH, "//div[@class = 'commentList']/div[@class = 'commentItem']/div[@class = 'contentInfo']/div[@class='commentDetail']".format(j)).text)
        xingji.append(browser.find_element(By.XPATH, "//div[@class = 'commentList']/div[@class = 'commentItem']/div[@class = 'contentInfo']/div[@class = 'scroreInfo']/span[@class = 'averageScore']".format(j)).text)
        shijian.append(browser.find_element(By.XPATH, "//div[@class = 'commentList']/div[@class = 'commentItem']/div[@class = 'contentInfo']/div[@class = 'commentFooter']/div[@class='commentTime']".format(j)).text)
       
    bot = browser.find_element(By.XPATH, "//div[@class = 'poiDetailPage']/div[@class = 'moduleWrap']/div[@class = 'mainModule']/div[@class = 'commentModuleRef']/div[@class = 'commentModule normalModule']/div[@class = 'myPagination']/ul[@class = 'ant-pagination']/li[@class = ' ant-pagination-next']/span[@class = 'ant-pagination-item-comment']")
    browser.execute_script("arguments[0].click();",bot)#通过XPath定位败#浏览器执行脚本
    time.sleep(2)#使当前正在执行的Python程序进入睡眠或延迟几秒钟。
    browser.implicitly_wait(3)#浏览器隐式等待 3
    print(i)

img

  • 写回答

2条回答 默认 最新

  • 秦_天明 2023-04-06 21:56
    关注

    根据代码片段,您的问题可能出现在XPath表达式上。您在获取评论列表的Xpath表达式中使用了.format(j),但是您并没有在字符串中使用花括号来表示要替换的值。因此,.format(j)部分被忽略了,只使用了原始的XPath表达式。

    正确的XPath表达式应该包含一个花括号,用于表示要替换的值。例如,您可以这样修改XPath表达式:

    "//div[@class='commentList']/div[@class='commentItem'][{0}]/div[@class='contentInfo']/div[@class='commentDetail']"
    然后,在获取评论文本时,使用以下代码:

    for j in range(1,11):
        xpath = "//div[@class='commentList']/div[@class='commentItem'][{0}]/div[@class='contentInfo']/div[@class='commentDetail']".format(j)
        all_comments.append(browser.find_element(By.XPATH, xpath).text)
    
    

    同样地,您还需要相应地修改其他XPath表达式,以确保它们包含花括号并使用正确的值进行替换。

    希望这可以帮助您解决问题。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 4月16日
  • 已采纳回答 4月8日
  • 创建了问题 4月6日

悬赏问题

  • ¥15 u盘问题:盘符不显示 无媒体
  • ¥50 R语言读取nc按月均值转为tif
  • ¥30 智能车串级pid调参
  • ¥15 visual studio code翻译老是错误
  • ¥20 卫星测高数据的高程转换
  • ¥15 爬取招聘网站数据信息
  • ¥15 安装完tensorflow,import tensorflow as tf后报错,如何解决?
  • ¥15 ultralytics库导出onnx模型,模型失去预测能力
  • ¥15 linux下点对点协议连接2个USB串口的硬件流量控制问题
  • ¥15 SQL数据自动生成问题