通过flume实时采集数据写入hdfs时,设置了rollSize,滚动有时生效,有时不生效。
rollInterval和rollCount都设置为了0,minBlockReplicas也设置了1
猜想:通过debug日志看,shouldRotate这个方法有时会触发,有时不会。反应到文件中,触发了这段代码的文件都是准确按照设置去滚动了,但其他文件就没有。在想是不是什么阻止了滚动。期间,我尝试过是不是rollSize大于了某值就不生效了,但不是。感觉毫无规律。可能前几天设置低于了2.5M还是生效,但过几天就又不生效了。
Flume写入hdfs滚动策略不生效
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
0条回答 默认 最新
悬赏问题
- ¥15 岛津txt格式文件转nirs格式
- ¥15 石墨烯磁表面等离子体
- ¥15 angular 项目无法启动
- ¥15 安装wampserver,图标绿色,但是无法进入软件
- ¥15 C++ MFC 标准库 加密解密解惑
- ¥15 两条数据合并成一条数据
- ¥15 Ubuntu虚拟机设置
- ¥15 comsol三维模型中磁场为什么没有“速度(洛伦兹项)”这一选项
- ¥15 electron 如何实现自定义安装界面
- ¥15 关于#linux#的问题:子进程C运行“ls –l”命令,且显示“C运行ls-l命令”(语言-c语言)