通过flume实时采集数据写入hdfs时,设置了rollSize,滚动有时生效,有时不生效。
rollInterval和rollCount都设置为了0,minBlockReplicas也设置了1
猜想:通过debug日志看,shouldRotate这个方法有时会触发,有时不会。反应到文件中,触发了这段代码的文件都是准确按照设置去滚动了,但其他文件就没有。在想是不是什么阻止了滚动。期间,我尝试过是不是rollSize大于了某值就不生效了,但不是。感觉毫无规律。可能前几天设置低于了2.5M还是生效,但过几天就又不生效了。

