Oliver3773 2023-10-30 15:26 采纳率: 12.5%
浏览 3
已结题

Flume写入hdfs滚动策略不生效

通过flume实时采集数据写入hdfs时,设置了rollSize,滚动有时生效,有时不生效。
rollInterval和rollCount都设置为了0,minBlockReplicas也设置了1
猜想:通过debug日志看,shouldRotate这个方法有时会触发,有时不会。反应到文件中,触发了这段代码的文件都是准确按照设置去滚动了,但其他文件就没有。在想是不是什么阻止了滚动。期间,我尝试过是不是rollSize大于了某值就不生效了,但不是。感觉毫无规律。可能前几天设置低于了2.5M还是生效,但过几天就又不生效了。

img

img

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 11月7日
    • 创建了问题 10月30日