请教一个flume增量采集日志问题,谢谢。
遇到一个应用,它生成的日志形式比较特殊,每天产生一个带日期的前缀,并根据文件容量扩展带序号的后缀。
例如2019年11月18日会首先生成20191118.log001,然后当日志文件写满20MB后,会生成20191118.log002,每个文件最大容量20MB,依次类推增加后缀的数字。
我们想用flume实时追加采集日志,如果source里定义:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /tmp/20191118.log001
则可以实时收取,但只能取到一个日志文件,该文件写满20MB后,生成20191118.log2,flume就采集不到了。
如果使用:
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /tmp
a1.sources.r1.includePattern = S2019*.*
则可以采集所有文件,但只能将文件采集一次,无法做到实时增量采集。
请教对于这样的日志,如何使用flume采集增量日志,谢谢。