如何查询Kafka Topic的当前状态？

Question

**如何查询 Kafka Topic 的当前状态？** 在 Kafka 运维和开发过程中，了解某个 Topic 的当前状态是排查问题、性能调优和监控的重要环节。常见的需求包括查看 Topic 的分区数量、副本分布、ISR（In-Sync Replicas）、消费者组偏移量、日志大小及最新偏移量等信息。通常可通过 Kafka 自带的命令行工具 `kafka-topics.sh` 和 `kafka-consumer-groups.sh` 实现基础查询，也可借助 Kafka Manager、Confluent Control Center 等可视化工具提升效率。此外，通过 Kafka AdminClient API 可以在程序中动态获取 Topic 状态。掌握这些方法对于保障 Kafka 集群稳定性具有重要意义。

Answer 1

一、基础查询：使用 Kafka 命令行工具

Kafka 提供了丰富的命令行工具，用于查看 Topic 的基本状态信息。以下是几个常用命令：

• kafka-topics.sh --describe：展示 Topic 的分区数量、副本分布及 ISR 信息。
• kafka-topics.sh --list：列出所有可用的 Topic。
• kafka-topics.sh --describe --topic <topic_name>：查看指定 Topic 的详细元数据。

bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic my-topic
Topic: my-topic	PartitionCount: 3	ReplicationFactor: 2	Configs:
    Topic: my-topic	Partition: 0	Leader: 101	Replicas: 101,102	Isr: 101,102
    Topic: my-topic	Partition: 1	Leader: 102	Replicas: 102,103	Isr: 102,103
    Topic: my-topic	Partition: 2	Leader: 103	Replicas: 103,101	Isr: 103,101

二、消费者组偏移量查询

通过 kafka-consumer-groups.sh 可以查看消费者组的消费进度、滞后情况等信息。

• kafka-consumer-groups.sh --list：列出所有消费者组。
• kafka-consumer-groups.sh --describe --group <group_id>：查看某个消费者组对各分区的消费偏移。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

GROUP           TOPIC              PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID
my-group        my-topic           0          123456            123789          333    consumer-1
my-group        my-topic           1          987654            987654          0      consumer-1

三、日志大小与最新偏移量获取

要获取每个分区的日志大小和最新偏移量，可以结合以下方式：

1. 使用 kafka-run-class.sh kafka.tools.GetOffsetShell 查询特定分区的 offset。
2. 通过 Kafka AdminClient API 动态获取每个分区的 log end offset。

bin/kafka-run-class.sh kafka.tools.GetOffsetShell \
--broker-list localhost:9092 --topic my-topic --time -1

my-topic:0:123789
my-topic:1:987654

四、可视化监控工具分析

对于运维和开发人员来说，图形化界面能显著提升排查效率。常见工具有：

工具名称	功能特点
Kafka Manager	支持多集群管理，查看 Topic 分区、ISR、消费者组偏移等。
Confluent Control Center	提供完整的 Kafka 监控、告警、安全审计等功能。
Prometheus + Grafana	可定制化指标展示，适合集成进现有监控体系。

五、编程接口：Kafka AdminClient API

在程序中动态获取 Topic 状态是现代微服务架构中常见的做法。使用 Kafka 的 AdminClient API 可实现如下操作：

• 描述 Topic 信息（包括分区数、副本分配）
• 获取每个分区的 log end offset
• 查询消费者组的状态和偏移量

Properties props = new Properties();
props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
AdminClient adminClient = KafkaAdminClient.create(props);

DescribeTopicsResult result = adminClient.describeTopics(Collections.singletonList("my-topic"));
Map<String, TopicDescription> descriptions = result.all().get();

for (Map.Entry<String, TopicDescription> entry : descriptions.entrySet()) {
    System.out.println(entry.getValue());
}

六、高级诊断与调优建议

在实际生产环境中，除了基础状态查询外，还需要关注以下方面：

• ISR 缩减频繁可能表示磁盘或网络瓶颈。
• 消费者组 lag 持续增长可能说明消费能力不足。
• Topic 分区不均衡可能导致负载倾斜。

推荐流程图如下所示，用于指导问题定位：

graph TD
            A[开始] --> B{是否有lag?}
            B -- 是 --> C[检查消费者性能]
            B -- 否 --> D[检查ISR变化频率]
            C --> E[增加消费者线程/实例]
            D --> F{是否频繁缩容?}
            F -- 是 --> G[检查Broker健康状态]
            F -- 否 --> H[正常运行]