python无法消费kafka数据，但是Java可以消费

Question

1、遇到的问题：

K3S部署的kafka，python无法消费kafka数据，但是Java可以消费。

2、问题相关代码片，运行结果

from kafka import KafkaConsumer
def get_custom(topic_name):
    """默认请求5分钟多一点"""
    custom = KafkaConsumer(group_id=group_id,
                           bootstrap_servers=kafka_server_list,
                           sasl_plain_username=username,
                           sasl_plain_password=password,
                           security_protocol='SASL_PLAINTEXT',
                           sasl_mechanism='PLAIN'
                           )
    custom.subscribe(topic_name)  # 消费者订阅多个topic
    for message in custom:
        print(message.topic, message.value)  # 这样就可以通过topic和value去做后边的操作了

运行结果如下图所示，一直处于这种状态。

3、操作环境、软件版本等相关信息

win10环境，python3.7.9， pycharm2023.2.3
连接kafka采用的是三方包kafka-python==2.0.2

Answer 1

【以下回答由 GPT 生成】

问题分析

根据提供的信息，问题是在使用kafka-python库消费Kafka数据时遇到了问题，而使用Java可以正常消费。没有提供具体的错误信息或异常情况。

解决方案

根据问题描述，可以按照以下步骤进行排查和解决：

1. 确保Kafka服务器已正确启动并且主题存在。
2. 确保kafka-python库已正确安装，并且版本为2.0.2。
3. 检查连接Kafka的参数是否正确设置，特别是sasl_plain_username和sasl_plain_password。
4. 检查消费者的group_id是否已正确设置，并且与Java消费者的消费者组保持一致。
5. 检查Kafka服务器和消费者的网络连接是否正常，尝试使用其他消费者客户端工具（如kafka-console-consumer）测试消费能力。
6. 检查消费者代码中的日志输出，以查看是否有任何错误信息或异常堆栈跟踪。

根据提供的信息，我们只能提供一般性的解决方案，并没有具体的错误信息或异常情况来定位问题。如果以上步骤均已尝试且问题仍然存在，建议进一步检查日志以获取更多详细信息，或者尝试使用其他开源的Kafka Python库（如confluent-kafka-python）进行消费。

代码示例

由于没有提供完整的代码示例和具体错误信息，无法给出修复代码。以下是可能的修复代码示例，仅供参考：

from kafka import KafkaConsumer

def get_custom(topic_name):
    consumer = KafkaConsumer(
        bootstrap_servers=kafka_server_list,
        sasl_plain_username=username,
        sasl_plain_password=password,
        security_protocol='SASL_PLAINTEXT',
        sasl_mechanism='PLAIN'
    )
    consumer.subscribe(topic_name)
    for message in consumer:
        print(message.topic, message.value)

请根据具体情况进行修改和调试。

【相关推荐】

• 这有个类似的问题, 你可以参考下: https://ask.csdn.net/questions/7767675
• 这篇博客你也可以参考下：kfka学习笔记二：使用Python操作Kafka
• 您还可以看一下 周龙老师的Kafka原理、集群、监控企业实战课程中的 Python操作Kafka小节, 巩固相关知识点
  
• 除此之外, 这篇博客: 【kafka消费同步提交和异步提交方式（kafka-python）中的 1.kafka消费方式有： 部分也许能够解决你的问题。

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^