Oliver3773 2023-10-30 15:26 采纳率: 12.5%
浏览 2
已结题

Flume写入hdfs滚动策略不生效

通过flume实时采集数据写入hdfs时,设置了rollSize,滚动有时生效,有时不生效。
rollInterval和rollCount都设置为了0,minBlockReplicas也设置了1
猜想:通过debug日志看,shouldRotate这个方法有时会触发,有时不会。反应到文件中,触发了这段代码的文件都是准确按照设置去滚动了,但其他文件就没有。在想是不是什么阻止了滚动。期间,我尝试过是不是rollSize大于了某值就不生效了,但不是。感觉毫无规律。可能前几天设置低于了2.5M还是生效,但过几天就又不生效了。

img

img

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 11月7日
    • 创建了问题 10月30日

    悬赏问题

    • ¥15 岛津txt格式文件转nirs格式
    • ¥15 石墨烯磁表面等离子体
    • ¥15 angular 项目无法启动
    • ¥15 安装wampserver,图标绿色,但是无法进入软件
    • ¥15 C++ MFC 标准库 加密解密解惑
    • ¥15 两条数据合并成一条数据
    • ¥15 Ubuntu虚拟机设置
    • ¥15 comsol三维模型中磁场为什么没有“速度(洛伦兹项)”这一选项
    • ¥15 electron 如何实现自定义安装界面
    • ¥15 关于#linux#的问题:子进程C运行“ls –l”命令,且显示“C运行ls-l命令”(语言-c语言)