Kafka节点之间通信失败

Question

Kafka 集群节点之间通信失败 ，我的kafka集群一旦启动就随机有一个节点无法跟其他的节点进行通信。

阿里云 Centos7.9 kafka zookeeper 3.0

通过大模型的推断来解决问题，但试了还是不太行自己还是不懂。

我是kafka集群拥有三台机器，我需要他们实现节点之间能够进行通信。

第二台

第三台

我的myid都是正常的没有跟其他机器冲突，kafka配置文件里的 broker.id=&ID 我也是对照外面的zookeeper myid来的，都是一致的，没有和其他机器冲突。
我的配置文件
zookeeper

kafka

就这些明显错误的大致看了，我觉得自己没有什么地方写错了，可每次运行kafka集群时总会有一节点无法跟其他节点进行通信。

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

Kafka 节点之间通信失败

你遇到的问题是 Kafka 集群节点之间通信失败，导致某个节点无法与其他节点进行通信。下面是一些可能的解决方案：

1. 检查 ZooKeeper 配置：ZooKeeper 是 Kafka 集群的协调器，确保 ZooKeeper 配置正确。可以检查 ZooKeeper 的日志文件，查看是否有任何错误信息。
2. 检查 Kafka 配置：检查 Kafka 的配置文件，确保 broker 的配置正确，包括 broker 的 IP 地址、端口号、advertised.host.name 等。
3. 检查网络连接：检查网络连接是否正常，确保所有节点之间的网络连接都可用。
4. 检查 firewall 规则：检查 firewall 规则，确保 firewall 不会阻止 Kafka 节点之间的通信。
5. 检查 broker 的状态：使用 kafka-broker-api-versions 命令检查 broker 的状态，查看是否有任何错误信息。
6. 检查日志文件：检查 Kafka 的日志文件，查看是否有任何错误信息。

如果以上解决方案都不能解决问题，可以提供更多的日志信息和配置文件，以便更好地 debug。

核心代码

# 检查 ZooKeeper 配置
zkCli.sh get /brokers/ids

# 检查 Kafka 配置
cat /etc/kafka/config/server.properties

# 检查网络连接
ping <node1_ip> <node2_ip> ...

# 检查 firewall 规则
sudo firewall-cmd --list-all

# 检查 broker 的状态
kafka-broker-api-versions --bootstrap-server <node1_ip>:9092

相关链接

• Kafka 官方文档
• ZooKeeper 官方文档
• Kafka 和 ZooKeeper 的集成