weixin_44260424 2019-11-18 16:09 采纳率: 0%
浏览 481

flume增量采集动态日志

请教一个flume增量采集日志问题,谢谢。

遇到一个应用,它生成的日志形式比较特殊,每天产生一个带日期的前缀,并根据文件容量扩展带序号的后缀。

例如2019年11月18日会首先生成20191118.log001,然后当日志文件写满20MB后,会生成20191118.log002,每个文件最大容量20MB,依次类推增加后缀的数字。

我们想用flume实时追加采集日志,如果source里定义:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /tmp/20191118.log001
则可以实时收取,但只能取到一个日志文件,该文件写满20MB后,生成20191118.log2,flume就采集不到了。

如果使用:
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /tmp
a1.sources.r1.includePattern = S2019*.*
则可以采集所有文件,但只能将文件采集一次,无法做到实时增量采集。

请教对于这样的日志,如何使用flume采集增量日志,谢谢。

  • 写回答

1条回答 默认 最新

  • 蓝之刃 2019-12-03 10:45
    关注

    taildir source

    评论

报告相同问题?

悬赏问题

  • ¥20 树莓派5做人脸情感识别与反馈系统
  • ¥15 selenium 控制 chrome-for-testing 在 Linux 环境下报错 SessionNotCreatedException
  • ¥15 使用pyodbc操作SQL数据库
  • ¥15 MATLAB实现下列
  • ¥30 mininet可视化打不开.mn文件
  • ¥50 C# 全屏打开Edge浏览器
  • ¥80 WEBPACK性能优化
  • ¥30 python拟合回归分析
  • ¥500 metaswitch 6010
  • ¥15 关于#分类#的问题:不用人工智能的算法