weixin_45626281 2024-04-03 19:33 采纳率: 0%
浏览 6
已结题

使用谷歌插件automa获取巨量百应后台第二数据,和滚动屏

一、使用automa能获取第一页数据,第二页数据获取出来的数据跟第一页是一样的,问一下要获取到后面的每页数据,要怎么操作

img

二、使用automa能获取页面看到的数据,需要滚动打开才能获取下面数据,需要怎么操作能滚动或者往下拉到底呢

img

  • 写回答

21条回答 默认 最新

  • 专家-赤兔[在线] 全栈领域优质创作者 2024-04-03 19:33
    关注
    获得0.45元问题酬金

    引自免费微信小程序:皆我百晓生

    针对您提出的两个问题,关于如何使用谷歌插件Automa获取巨量百应后台的多页数据以及滚动加载数据,以下是详细的解决方案:

    问题一:使用Automa获取巨量百应后台第二页及之后的数据

    根据您的描述,您已经成功使用Automa获取了第一页数据,但第二页获取的数据与第一页相同,这可能是因为在自动化脚本中没有正确处理翻页逻辑。为解决这个问题,您需要确保脚本能够识别并触发翻页操作,并在翻页后重新提取新页面的数据。

    通常情况下,网页上的翻页按钮或链接具有特定的HTML属性(如class、id等),您可以利用这些属性定位并点击翻页元素。以下是一个大致的步骤指南:

    1. 定位翻页元素:检查巨量百应后台页面源代码,找到用于翻页的元素(如"下一页"按钮、页码链接等)。确定其唯一标识符,如classiddata-testid等属性。

    2. 编写翻页动作:在Automa中创建一个新的动作,选择“Click Element”,然后输入翻页元素的CSS选择器或XPath表达式。例如,如果翻页按钮的class属性为.next-page-button,则CSS选择器可以写为 button.next-page-button

    3. 循环遍历页面:为了获取所有页面的数据,您需要将数据提取动作(如“Get Text”或“Get Attribute”)与翻页动作结合在一个循环结构中。Automa支持使用“Repeat Until”循环,设定一个停止条件(如当前页数达到预期值或找不到下一页按钮)。

      • 创建“Repeat Until”循环。
      • 在循环内部,首先执行数据提取动作,保存所需数据。
      • 然后执行翻页动作,跳转到下一页。
      • 设置停止条件,如检查是否还能找到下一个翻页按钮,若找不到则结束循环。

    通过上述步骤,您的Automa脚本应该能够逐页访问巨量百应后台并提取各页数据。

    问题二:使用Automa滚动页面以加载更多数据

    当页面采用无限滚动(Infinite Scroll)或懒加载机制时,需要模拟用户滚动行为以触发数据加载。具体操作如下:

    1. 检查滚动方式:确认巨量百应后台的滚动加载是通过鼠标滚轮滚动、滚动条拖动还是键盘按键实现的。一般而言,模拟滚动条滚动较为通用且易于实现。

    2. 创建滚动动作:在Automa中添加一个“Scroll To”的动作,指定滚动的目标位置。如果您想要滚动到底部以加载全部数据,可选择“Bottom”。

      {
        "action": "scrollTo",
        "args": {
          "position": "bottom"
        }
      }
      
    3. 考虑滚动间隔与等待时间:某些网站可能需要滚动完成后等待一段时间,以便异步加载数据。在这种情况下,您可以在滚动动作后添加一个“Wait For Seconds”动作,设置适当的等待时间(如2-3秒)。

      {
        "action": "waitForSeconds",
        "args": {
          "seconds": 3
        }
      }
      
    4. 重复滚动直至数据加载完毕:对于无限滚动页面,可能需要多次滚动才能加载完所有数据。您可以参照问题一中的“Repeat Until”循环思路,设定一个停止条件(如检查某个特定元素是否存在,表示数据已全部加载)来控制滚动次数。

    按照以上方案调整您的Automa脚本,应该能够顺利实现对巨量百应后台的滚动加载数据的抓取。请注意,由于实际网页结构和交互可能有所不同,您可能需要根据实际情况微调选择器和动作参数。同时,遵循网站的使用协议,确保数据抓取行为合法合规。

    评论 编辑记录

报告相同问题?

问题事件

  • 系统已结题 4月11日
  • 创建了问题 4月3日

悬赏问题

  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏,求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大,价格你定,联系确定辅导后将采纳你的答案。希望能给出完整详细代码,并能解释回答我关于代码的疑问疑问,代码要求如下,联系我会发文档
  • ¥50 C++五子棋AI程序编写
  • ¥30 求安卓设备利用一个typeC接口,同时实现向pc一边投屏一边上传数据的解决方案。
  • ¥15 SQL Server analysis services 服务安装失败
  • ¥15 基于面向对象的图书馆借阅管理系统
  • ¥15 opencv图像处理,需要四个处理结果图
  • ¥20 centos linux 7.9安装php8.2.18不支持mysqli模块的问题
  • ¥15 stata空间计量LM检验