weixin_44260424 2019-11-18 16:09 采纳率: 0%
浏览 478

flume增量采集动态日志

请教一个flume增量采集日志问题,谢谢。

遇到一个应用,它生成的日志形式比较特殊,每天产生一个带日期的前缀,并根据文件容量扩展带序号的后缀。

例如2019年11月18日会首先生成20191118.log001,然后当日志文件写满20MB后,会生成20191118.log002,每个文件最大容量20MB,依次类推增加后缀的数字。

我们想用flume实时追加采集日志,如果source里定义:
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /tmp/20191118.log001
则可以实时收取,但只能取到一个日志文件,该文件写满20MB后,生成20191118.log2,flume就采集不到了。

如果使用:
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /tmp
a1.sources.r1.includePattern = S2019*.*
则可以采集所有文件,但只能将文件采集一次,无法做到实时增量采集。

请教对于这样的日志,如何使用flume采集增量日志,谢谢。

  • 写回答

1条回答

      报告相同问题?

      相关推荐 更多相似问题

      悬赏问题

      • ¥15 求助!python作业
      • ¥50 求一份TAP网卡驱动修改版
      • ¥15 1、用java求π的4种算法实现与程序结构2观察不同数据类型对π精度影响3求π的4种算法实现(直到某一项的绝对值小于10^(-6),4种方法计算公式,哪个最精确,为什么
      • ¥15 计算机组成原理存储器的题目中关于地址线的疑问
      • ¥15 Python离散数学问题
      • ¥15 ftps用证书验证登录而不是用密码
      • ¥90 关于overflow,ALU
      • ¥20 一家公司用我们的商标作为标题,经过多轮交涉,苹果今天的回复有些不懂,求帮助
      • ¥20 双网卡后检测不到硬盘
      • ¥17 win10 安装mujoco_py模块后运行报错