Flink处理乱序数据，关于侧输出流的问题

Question

现在需要使用Flink处理一批乱序数据，设置了一个十分钟的窗口从10:14:50-10:24:50，但是为什么10:14:51的数据会输出到侧输出流中？

val aggStream = dataStream
      .filter(_.method == "GET")
      .keyBy(_.url)
      .timeWindow(Time.minutes(10), Time.seconds(5))
        .allowedLateness(Time.minutes(1)) //允许延迟
        .sideOutputLateData(new OutputTag[ApacheLogEvent]("late"))
      .aggregate(new PageCountAgg(), new PageViewCountWindowResult())

希望可以有朋友帮忙解决一下

Answer 1

当10:14:51的数据来之前，流中最大的事件时间 >= 10:24:50(窗口结束时间) + watermark延迟时间 + 允许延迟时间 ，导致当前waterMark 的值更新为 这个最大的事件时间；导致 10:14:50-10:24:50 的这个窗口关闭。当10:14:51的数据来的时候，因为窗口关闭了，不能放到窗口进行计算了，只能放到侧输出流进行输出了！