weixin_44260424 2019-11-18 16:09 采纳率: 0%
浏览 481

flume增量采集动态日志

请教一个flume增量采集日志问题,谢谢。

遇到一个应用,它生成的日志形式比较特殊,每天产生一个带日期的前缀,并根据文件容量扩展带序号的后缀。

例如2019年11月18日会首先生成20191118.log001,然后当日志文件写满20MB后,会生成20191118.log002,每个文件最大容量20MB,依次类推增加后缀的数字。

我们想用flume实时追加采集日志,如果source里定义:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /tmp/20191118.log001
则可以实时收取,但只能取到一个日志文件,该文件写满20MB后,生成20191118.log2,flume就采集不到了。

如果使用:
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /tmp
a1.sources.r1.includePattern = S2019*.*
则可以采集所有文件,但只能将文件采集一次,无法做到实时增量采集。

请教对于这样的日志,如何使用flume采集增量日志,谢谢。

  • 写回答

1条回答

  • 蓝之刃 2019-12-03 10:45
    关注

    taildir source

    评论

报告相同问题?

悬赏问题

  • ¥188 寻找能做王者评分提取的
  • ¥15 matlab用simulink求解一个二阶微分方程,要求截图
  • ¥30 乘子法解约束最优化问题的matlab代码文件,最好有matlab代码文件
  • ¥15 写论文,需要数据支撑
  • ¥15 identifier of an instance of 类 was altered from xx to xx错误
  • ¥100 反编译微信小游戏求指导
  • ¥15 docker模式webrtc-streamer 无法播放公网rtsp
  • ¥15 学不会递归,理解不了汉诺塔参数变化
  • ¥15 基于图神经网络的COVID-19药物筛选研究
  • ¥30 软件自定义无线电该怎样使用