不断爬坑的小农 2021-07-13 21:31 采纳率: 0%
浏览 189

python3 消费kafka数据

img

img

运行环境是python3.7
利用kafka-python包 消费kafka数据
程序一直消费不到数据
端口与主题都没有问题 已经确定是有数据的 就是消费不到数据
应该怎么处理呢

  • 写回答

1条回答 默认 最新

  • CSDN专家-HGJ 2021-07-13 22:56
    关注

    写成for msg in consumer:print("Topic Name=%s,Message=%s"%(msg.topic,msg.value))这样试试，参考这里怎样用python读取kafka数据，https://linuxhint.com/read_data_kafka_python/

    如有用，请点击采纳。

    评论

报告相同问题？

  • flink消费kafka数据延迟 flink postgresql scala 有问必答
    2022-01-28 09:47
    回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
  • 找会kafka和python的 python
    2022-08-04 12:05
    回答 2 已采纳 看下这篇博客，也许你就懂了，链接：python的kafka客户端你还可以看下python参考手册中的 python- 接下来？
  • kafka拉取不到数据 java kafka 分布式 有问必答
    2022-02-16 19:32
    回答 4 已采纳 重新开一个topic，然后先启动consumer，再启动producer，再发消息，你这个可能是consumer已经在broker里有了自己的offset，就会读不到之前producer发送到brok
  • python消费kafka数据批量插入到es的方法
    2021-01-20 04:52
    1、es的批量插入 这是为了方便后期配置的更改，把配置信息放在logging.conf中 用elasticsearch来实现批量操作，先安装依赖包，sudo pip install Elasticsearch2 from elasticsearch import Elasticsearch ...
  • 关于flink接收kafka消息的代码能不能用python写 flink kafka python 有问必答
    2021-08-16 15:59
    回答 1 已采纳 应该可以，不过通常使用scala语言进行编写
  • flink消费kafka flink java kafka 有问必答
    2021-07-02 11:07
    回答 2 已采纳 对kafka来说，只要这条数据发出去了，就算消费了，你消费者怎么处理，和kafka无关了。对消费者来说， 你只需要消费下一条就行了。至于偏移量， 你第一次消费的时候，是要发送偏移的，这个你消费者要本地
  • flinksql读取kafka数据报错 flink kafka
    2022-07-13 20:33
    回答 3 已采纳 restclient异常，先看看taskmanager和jobmanager是否正常，然后你可以在jobmanager的节点上访问webUI查看job状态，又或者直接查看宿主机上的日志排查问题
  • python 消费 kafka 数据教程
    2020-12-23 09:54
    pip install --user kafka-python==1.4.3 如果报错压缩相关的错尝试安装下面的依赖 yum install snappy-devel yum install lz4-devel pip install python-snappy pip install lz4 2.生产者 #!/usr/bin/env python...
  • kafka消费者创建不了 java kafka linux
    2022-08-23 10:01
    回答 1 已采纳 同一个消费组能同时消费的消费者数量和topic的分区数有关，估计是你的topic只有两个分区所以使用相同的groupid只有两个消费者在消费，加一个分区就好
  • Springboot集成kafka，应用很卡，消费很慢 java kafka spring boot
    2022-10-25 09:26
    回答 5 已采纳 感觉消息堆积有点厉害，查一下代码，是因为什么原因导致消息一直没被消费。如果只是前端数据，可以丢弃的话，把队列清空，看看还会不会卡？
  • kafka中的消费拦截器 flink java kafka
    2021-07-05 16:53
    回答 1 已采纳 value的值为[B@1e1e585b这个明显是序列化后的Bytes字节类型嘛你反序列化成string就ok了
  • python消费kafka数据
    2022-06-08 14:29
    grfstc的博客 上一篇文章是生产数据：python向kafka发送json...3.运行该python文件注意：该python文件会持续消费kafka数据，如果要停止消费，需手动退出程序。或者可以设置达到特定偏移量退出for循环来停止消费： 运行效果：...
  • pycharm中kafka错误问题 kafka python ubuntu 有问必答
    2021-06-17 17:19
    回答 10 已采纳 https://blog.csdn.net/qq_40407889/article/details/118028472 java的kafka操作的简单demo
  • 用python脚本消费kafka的数据
    2023-01-09 20:48
    长野君的博客 好的，下面是一个使用 Python 脚本消费 Kafka 数据的示例： from kafka import KafkaConsumer # 连接到 Kafka 服务器 consumer = KafkaConsumer('my-topic', group_id='my-group', bootstrap_servers=['kafka1:9092...
  • python kafka 多线程消费者&手动提交实例
    2021-01-20 04:02
    官方文档：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html import threading import os import sys from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata from ...
  • 没有解决我的问题, 去提问

问题事件

  • 创建了问题 7月13日

悬赏问题

  • ¥15 编辑cmake lists 明明写了project项目名，但是还是报错怎么回事
  • ¥15 关于#计算机视觉#的问题：求一份高质量桥梁多病害数据集
  • ¥15 特定网页无法访问，已排除网页问题
  • ¥50 如何将脑的图像投影到颅骨上
  • ¥15 提问一个关于vscode相关的环境配置问题，就是输入中文但是显示不出来，代码在idea可以显示中文，但在vscode不行，不知道怎么配置环境
  • ¥15 netcore使用PuppeteerSharp截图
  • ¥20 这张图页头，页脚具体代码该怎么写？
  • ¥15 关于#sql#的问题，请各位专家解答！
  • ¥20 WPF MVVM模式 handycontrol 框架， hc:SearchBar 控件 Text="{Binding NavMenusKeyWords}" 绑定取不到值
  • ¥15 需要手写数字信号处理Dsp三个简单题 不用太复杂