filebeat采集慢日志

Question

公司在做数据库慢日志的采集，大体逻辑是，用户在对应主机部署filebeat监控数据库，把产生的慢日志写入到kafka的topic中。
遇到个问题就是topic默认是有3个分区的，导致filebeat采集到的数据会被随机发送到任意分区。需求是希望同一个filebeat发送的数据保存的时候，默认都只会写入到一个分区里。研究半天好像只能手动创建一个单分区的topic，但是这样肯定不太行，这个有什么办法可以做到吗 万分感谢！

Answer 1

可以使用Kafka的分区器函数来解决这个问题。分区器函数确定消息被分配到哪个分区，因此，您可以编写一个自定义分区器函数来确保来自相同filebeat的所有消息都被分配到同一个分区。为此，您需要从Kafka的Partitioner接口中创建一个新的分区器，然后在配置文件中将其设置为您的主题的分区器。这样，每个filebeat都会将其消息发送到同一个分区，确保数据保存在一个分区中。