weixin_46631141 2022-06-14 13:07 采纳率: 0%
浏览 18

selenium数据爬取

selenium进行爬虫的时候无法实现翻页功能,总是在爬取第一页

def run(self):
#模拟浏览器打开网页
self.driver.get(self.url)
while True:
source = self.driver.page_source
self.parse_list_page(source)

        time.sleep(2)
        next_btn = self.driver.find_element_by_link_text('下一页')
        next_btn.click()
  • 写回答

1条回答 默认 最新

  • 二九筒 2022-06-14 14:12
    关注

    元素定位失败了噻,相当于没有点击

    评论

报告相同问题?

问题事件

  • 创建了问题 6月14日

悬赏问题

  • ¥15 求解 yolo算法问题
  • ¥15 虚拟机打包apk出现错误
  • ¥30 最小化遗憾贪心算法上界
  • ¥15 用visual studi code完成html页面
  • ¥15 聚类分析或者python进行数据分析
  • ¥15 三菱伺服电机按启动按钮有使能但不动作
  • ¥15 js,页面2返回页面1时定位进入的设备
  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝