dongtan6543 2019-06-26 16:27
浏览 44

apache kafka消费者恢复行为

I am currently working on Apache Kafka using go/golang confluent library. I have some doubts regarding consumer and its APIs.

  1. I am using pause and resume APIs of the library and doing manual commits. Let's say, I send 100 messages and without committing, I paused consumer and resume it afterward. I notice it didn't consume those 100 messages again but it started consuming the latest messages. Is this an expected behavior? If yes, is there a way to consume those 100 messages again.

  2. When I am resuming the consumers, after some processing, I am doing manual commit. I noticed the return offset committed is -1001 for a partition. I am not able to understand why it is happening and what it means? Did I lose all the data or the commit failed?

  3. Can someone please explain to me auto.offset.reset - latest and earliest?

Thanks

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • kafka消费者创建不了 java kafka linux
      2022-08-23 10:01
      回答 1 已采纳 同一个消费组能同时消费的消费者数量和topic的分区数有关，估计是你的topic只有两个分区所以使用相同的groupid只有两个消费者在消费，加一个分区就好
    • 一台机器可以即可以充当kafka消费者又充当kafka生产者吗？ java kafka
      2022-01-10 15:46
      回答 3 已采纳 消费者和生产者与机器无关，这是不同的概念，消费者与生产者只是在Kafka中的角色，不同角色干不同的事情
    • kafka消费者迭代器卡死
      2016-10-25 09:13
      回答 4 已采纳 明白了，offset已经指到最后了，然后获取不到数据就一直等待状态，我以为卡死，生产者发送几个数据进去就行了
    • 揭秘Apache Kafka消费者：深度理解与实战指南
      2024-03-14 12:03
      i289292951的博客 每个消费者隶属于一个消费者组（Consumer ...每个消息只会被消费者组内的一个消费者消费一次，这是Kafka提供消息队列功能的基础。Kafka会根据消费者组和分区的情况，动态地将主题的所有分区分配给组内的各个消费者。
    • Kafka消费者消费信息经常接收不到 java
      2022-12-21 00:45
      回答 1 已采纳 这篇博客也许可以解决你的问题👉 ：kafka消费者从kafka读取信息
    • Springboot集成kafka，应用很卡，消费很慢 java kafka spring boot
      2022-10-25 09:26
      回答 5 已采纳 感觉消息堆积有点厉害，查一下代码，是因为什么原因导致消息一直没被消费。如果只是前端数据，可以丢弃的话，把队列清空，看看还会不会卡？
    • kafka可以生产无法消费的问题 java kafka
      2022-06-11 10:41
      回答 1 已采纳 给你个例子，是可以收发的。验证通过再和你的对比一下，你应该哪里配错了。 springboot集成kafka、消息发送、消费使用_‘’小磊的博客-CSDN博客_spri
    • 浅谈Kafka消费者原理
      2023-06-29 18:00
      ~奔跑的简默~的博客 Apache Kafka是一个分布式流处理平台，用于构建实时数据流管道和流式应用...本文将分析Kafka消费者的原理，包括消费者组、分区分配策略、消费者位移管理等方面。以及如何在Kafka中进行消费，并提供一些故障排除方法。
    • 如何在Golang中创建kafka消费者组？
      2017-02-01 18:07
      回答 2 已采纳 The consumer group is specified by the second argument of the cluster consumer "constructor". Here
    • flink消费kafka flink java kafka 有问必答
      2021-07-02 11:07
      回答 2 已采纳 对kafka来说，只要这条数据发出去了，就算消费了，你消费者怎么处理，和kafka无关了。对消费者来说， 你只需要消费下一条就行了。至于偏移量， 你第一次消费的时候，是要发送偏移的，这个你消费者要本地
    • flink消费kafka数据延迟 flink postgresql scala 有问必答
      2022-01-28 09:47
      回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
    • （四）Kafka 消费者
      2023-07-06 11:21
      你那是什么调调的博客 不同于传统的消息系统，横向伸缩消费者和消费者群组并不会导致 Kafka 性能下降。除了通过增加消费者数量来横向伸缩单个应用程序，实际上，Kafka 的一个主要设计目标是。在这些应用场景中，我们希望。
    • 有关kafka消费者的问题，描述如下
      2016-05-09 11:56
      回答 1 已采纳 你的这个结构首先要换一下。 如果你要去读取group中不同分区中的数据。对于你的consumer端来说，应该是1对1进行读取，也就是说，一个java进程对应一个分区partition。 你自己
    • kafka消费者从kafka读取信息
      2019-07-02 20:41
      hw120219的博客 创建消费者对象consumer,可以设置具体的配置信息props Properties props = new Properties(); props.put("bootstrap.servers","borker1:9092,broker2:9092"); kafkaConsumer<String,String> consumer = new ...
    • 三、Kafka消费者
      2022-07-24 15:07
      流年ln的博客 与其它消息中间件不同的是：Kafka消费理念中还有一层消费者组（Consumer Group）的概念，一个消费者组包含多个消费者，消息发布到主题后，会投递给每个消费者组中的其中一个消费者。 如上图，一个主题有四个分区，P0...
    • 没有解决我的问题, 去提问

    悬赏问题

    • ¥15 R语言Rstudio突然无法启动
    • ¥15 关于#matlab#的问题：提取2个图像的变量作为另外一个图像像元的移动量，计算新的位置创建新的图像并提取第二个图像的变量到新的图像
    • ¥15 改算法，照着压缩包里边，参考其他代码封装的格式 写到main函数里
    • ¥15 用windows做服务的同志有吗
    • ¥60 求一个简单的网页(标签-安全|关键词-上传)
    • ¥35 lstm时间序列共享单车预测，loss值优化，参数优化算法
    • ¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
    • ¥100 为什么这个恒流源电路不能恒流？
    • ¥15 有偿求跨组件数据流路径图
    • ¥15 写一个方法checkPerson，入参实体类Person，出参布尔值