flume监听kafka日志文件,kafka无法正常运行

Question

flume监听kafka文件时,总会在kafka的logs文件夹里面生成一个 flumepool的一个文件,但由于kafka的logs除了日志文件不允许其他文件在内,所以就总是导致kafka异常退出,就导致我得用点邪招去保持两边运行,就是先把logs文件夹删了,但是flume不关闭,然后在创建一个logs文件夹再启动kafka两边才能平稳运行,我想问一下有什么办法不生成flumepool文件,或者让这个文件换个地方生成吗?
下边是报错信息,小生不才,麻烦各位神仙给小生想个办法.

Answer 1

能不能使用额外的脚本或工具：比如编写脚本或使用其他工具来监视 Kafka 日志目录，然后将文件复制到其他地方进行处理，而不是使用 Flume 的 Spooling Directory Source 来监听 Kafka。毕竟Flume 的默认行为是在 Spooling Directory Source 中生成临时文件。如果绕过此行为，可能需要更多的定制化和配置修改才能实现预期的结果。