大_G 2022-03-29 21:23 采纳率: 42.9%
浏览 281
已结题

flume采集目录下的文件报错

问题遇到的现象和发生背景

问题发生的背景
开始是一直采集小文件 都正常采集了,并成功了
然后 采集一个大文件,大约8M
flume 日志就开始报错了 ,报错信息如下
ERROR [PollableSourceRunner-TaildirSource-r1] (org.apache.flume.source.taildir.TaildirSource.process:247) - Unable to tail files

img

flume 采集文件脚本如下

img

应该如何操作

  • 写回答

1条回答 默认 最新

  • CSDN专家-微编程 2022-03-29 21:44
    关注

    可以尝试修改 flume下的conf/flume-env.sh文件:
    export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote"
    主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可
    Xms512m -Xmx2048m
    另外配置文件这些可以尝试调大一些

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 4月7日
  • 已采纳回答 3月30日
  • 创建了问题 3月29日

悬赏问题

  • ¥20 为什么zynq CAN IP 无法进入config配置模式,XCan_SelfTest函数失效?
  • ¥15 Pycharm中程序直接运行可以但进入调试报错
  • ¥15 MATLAB动图问题
  • ¥15 有段代码不知道怎么理解,const isToken = (config.headers || {}).isToken === false
  • ¥15 我的显卡支持CUDA最高版本是12.3,这个版本也支持VS 2022 17.0这种情况下如果我想下载CUDA11.8,需要下载旧版本的VS2022吗
  • ¥100 采用栈和深度优先算法取消graphics库采用其他方式显示路径打印显示路径取消graphics库
  • ¥15 pointnet2包安装
  • ¥20 射频功率问题,解答者有酬谢!
  • ¥80 构建降雨和积水的预测模型
  • ¥15 #Qt Transform setTransform()在鼠标拖动移动视角是一致在原地不动,无法变换视角(细微观察似乎视图有在原地抖动),无法变换视角(细微观察似乎视图有在原地抖动)