吾忘 2022-05-27 11:19 采纳率: 100%
浏览 78
已结题

Flink处理乱序数据,关于侧输出流的问题

现在需要使用Flink处理一批乱序数据,设置了一个十分钟的窗口从10:14:50-10:24:50,但是为什么10:14:51的数据会输出到侧输出流中?

val aggStream = dataStream
      .filter(_.method == "GET")
      .keyBy(_.url)
      .timeWindow(Time.minutes(10), Time.seconds(5))
        .allowedLateness(Time.minutes(1)) //允许延迟
        .sideOutputLateData(new OutputTag[ApacheLogEvent]("late"))
      .aggregate(new PageCountAgg(), new PageViewCountWindowResult())

希望可以有朋友帮忙解决一下
  • 写回答

1条回答 默认 最新

  • 笑看风云路 大数据领域优质创作者 2022-05-27 11:50
    关注

    当10:14:51的数据来之前,流中最大的事件时间 >= 10:24:50(窗口结束时间) + watermark延迟时间 + 允许延迟时间 ,导致当前waterMark 的值更新为 这个最大的事件时间;导致 10:14:50-10:24:50 的这个窗口关闭。当10:14:51的数据来的时候,因为窗口关闭了,不能放到窗口进行计算了,只能放到侧输出流进行输出了!

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 6月25日
  • 已采纳回答 6月17日
  • 创建了问题 5月27日

悬赏问题

  • ¥15 Qt4代码实现下面的界面
  • ¥15 prism提示我reinstall prism 如何解决
  • ¥15 asp.core 权限控制怎么做,需要控制到每个方法
  • ¥20 while循环中OLED显示中断中的数据不正确
  • ¥15 这个视频里的stm32f4代码是怎么写的
  • ¥15 JNA调用DLL报堆栈溢出错误(0xC00000FD)
  • ¥15 请教SGeMs软件的使用
  • ¥15 自己用vb.net编写了一个dll文件,如何只给授权的用户使用这个dll文件进行打包编译,未授权用户不能进行打包编译操作?
  • ¥50 深度学习运行代码直接中断
  • ¥20 需要完整的共散射点成像代码