大_G 2022-03-29 21:23 采纳率: 42.9%
浏览 304
已结题

flume采集目录下的文件报错

问题遇到的现象和发生背景

问题发生的背景
开始是一直采集小文件 都正常采集了，并成功了
然后 采集一个大文件，大约8M
flume 日志就开始报错了 ，报错信息如下
ERROR [PollableSourceRunner-TaildirSource-r1] (org.apache.flume.source.taildir.TaildirSource.process:247) - Unable to tail files

img

flume 采集文件脚本如下

img

应该如何操作

  • 写回答

1条回答 默认 最新

  • CSDN专家-微编程 2022-03-29 21:44
    关注

    可以尝试修改 flume下的conf/flume-env.sh文件：
    export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote"
    主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可
    Xms512m -Xmx2048m
    另外配置文件这些可以尝试调大一些

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 4月7日
  • 已采纳回答 3月30日
  • 创建了问题 3月29日

悬赏问题

  • ¥15 数据库原理及应用上机练习题
  • ¥30 征集Python提取PDF文字属性的代码
  • ¥15 如何联系真正的开发者而非公司
  • ¥15 有偿求苍穹外卖环境配置
  • ¥15 代码在keil5里变成了这样怎么办啊，文件图像也变了，
  • ¥20 Ue4.26打包win64bit报错，如何解决？(语言-c++)
  • ¥15 clousx6整点报时指令怎么写
  • ¥30 远程帮我安装软件及库文件
  • ¥15 关于#自动化#的问题：如何通过电脑控制多相机同步拍照或摄影（相机或者摄影模组数量大于60），并将所有采集的照片或视频以一定编码规则存放至规定电脑文件夹内
  • ¥20 （求远程解决）深信服vpn-2050这台设备如何配置才能成功联网？