flume增量采集动态日志

请教一个flume增量采集日志问题,谢谢。

遇到一个应用,它生成的日志形式比较特殊,每天产生一个带日期的前缀,并根据文件容量扩展带序号的后缀。

例如2019年11月18日会首先生成20191118.log001,然后当日志文件写满20MB后,会生成20191118.log002,每个文件最大容量20MB,依次类推增加后缀的数字。

我们想用flume实时追加采集日志,如果source里定义:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /tmp/20191118.log001
则可以实时收取,但只能取到一个日志文件,该文件写满20MB后,生成20191118.log2,flume就采集不到了。

如果使用:
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /tmp
a1.sources.r1.includePattern = S2019*.*
则可以采集所有文件,但只能将文件采集一次,无法做到实时增量采集。

请教对于这样的日志,如何使用flume采集增量日志,谢谢。

1个回答

taildir source

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问