flume-ng能否自定义数据读取完成标识? 5C

flume读取文件时会为文件添加一个读取完成的标示,例如:文件python_20161027.log,
读取完成后会添加一个.COMPLETED的标示,把文件变成了python_20161027.log.COMPLETED
这样破坏了原有的文档结构,例如一些本来可以直接读取的txt文件,被flume采集后就不能再直接读取了,而且还会出现一些其他的问题。
我在使用flume的过程中发现,如果在上游一个程序在不停的写log日志,下游用flume实时采集日志有可能会报java.lang.IllegalStateException: File name has been re-used with different files.
这是因为我们上游的程序是以重定向的方式来写log日志的,当flume读取日志后,把日志名变成了python_20161027.log.COMPLETED后,上游程序再次生成log日志时,先判断是否存在python_20161027.log文件,如果没有的话就会创建python_20161027.log文件,而flume再次读取python_20161027.log文件时,还要生成python_20161027.log.COMPLETED文件。但是因为文件目录下已经存在此文件了,所以就会报上面的错误

我想问问各位大神,有没有什么办法可以让flume采集日志文件后,不改变原有的文件名,从而避免上面的问题

1个回答

qq_38330130
人猿泰山111 回复szx2544163762: 这个问题解决了吗,我遇到了跟您一样的问题,也想flume采集的文件不改变文件名,不知道怎么解决,望回复,谢谢!!
大约一年之前 回复
szx2544163762
似水云烟 这个是在flume采集数据的时候定义一个拦截器来清洗数据,跟我的问题不一样啊。我疑问的是有没有什么办法把flume采集完成的标志给去掉
大约 3 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问