大_G 2022-03-29 21:23 采纳率: 42.9%
浏览 282
已结题

flume采集目录下的文件报错

问题遇到的现象和发生背景

问题发生的背景
开始是一直采集小文件 都正常采集了，并成功了
然后 采集一个大文件，大约8M
flume 日志就开始报错了 ，报错信息如下
ERROR [PollableSourceRunner-TaildirSource-r1] (org.apache.flume.source.taildir.TaildirSource.process:247) - Unable to tail files

img

flume 采集文件脚本如下

img

应该如何操作

  • 写回答

1条回答 默认 最新

  • CSDN专家-微编程 2022-03-29 21:44
    关注

    可以尝试修改 flume下的conf/flume-env.sh文件：
    export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote"
    主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可
    Xms512m -Xmx2048m
    另外配置文件这些可以尝试调大一些

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 4月7日
  • 已采纳回答 3月30日
  • 创建了问题 3月29日

悬赏问题

  • ¥30 python代码，帮调试
  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能！！有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗？
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条