大_G 2022-03-29 21:23 采纳率: 42.9%
浏览 284
已结题

flume采集目录下的文件报错

问题遇到的现象和发生背景

问题发生的背景
开始是一直采集小文件 都正常采集了,并成功了
然后 采集一个大文件,大约8M
flume 日志就开始报错了 ,报错信息如下
ERROR [PollableSourceRunner-TaildirSource-r1] (org.apache.flume.source.taildir.TaildirSource.process:247) - Unable to tail files

img

flume 采集文件脚本如下

img

应该如何操作

  • 写回答

1条回答 默认 最新

  • CSDN专家-微编程 2022-03-29 21:44
    关注

    可以尝试修改 flume下的conf/flume-env.sh文件:
    export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote"
    主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可
    Xms512m -Xmx2048m
    另外配置文件这些可以尝试调大一些

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 4月7日
  • 已采纳回答 3月30日
  • 创建了问题 3月29日

悬赏问题

  • ¥15 BP神经网络控制倒立摆
  • ¥20 要这个数学建模编程的代码 并且能完整允许出来结果 完整的过程和数据的结果
  • ¥15 html5+css和javascript有人可以帮吗?图片要怎么插入代码里面啊
  • ¥30 Unity接入微信SDK 无法开启摄像头
  • ¥20 有偿 写代码 要用特定的软件anaconda 里的jvpyter 用python3写
  • ¥20 cad图纸,chx-3六轴码垛机器人
  • ¥15 移动摄像头专网需要解vlan
  • ¥20 access多表提取相同字段数据并合并
  • ¥20 基于MSP430f5529的MPU6050驱动,求出欧拉角
  • ¥20 Java-Oj-桌布的计算