问题遇到的现象和发生背景
kafka的消费失败方案
用代码块功能插入代码，请勿粘贴截图
我的解答思路和尝试过的方法
现有的思路是通过spring提供的消费重试机制和转发死信队列机制来处理；但是没办法避免的是消息之间的先后顺序会被裁断，即有可能后发出的消息被先消费，然后导致没有发现之前先发出的消息的消费记录，所以会导致这一整个流程的失败。
我想要达到的结果
既能解决消费失败的问题，又能避免消息的先后顺序被截断
0条回答 默认 最新
- 2022-09-26 17:35回答 1 已采纳 网上都有相关文章，例如，你可以参考这篇：https://www.bilibili.com/read/cv11773508里面就有涉及到这两个的安全认证配置。
- 2022-08-23 10:01回答 1 已采纳 同一个消费组能同时消费的消费者数量和topic的分区数有关，估计是你的topic只有两个分区所以使用相同的groupid只有两个消费者在消费，加一个分区就好
- 2022-10-25 09:26回答 5 已采纳 感觉消息堆积有点厉害，查一下代码，是因为什么原因导致消息一直没被消费。如果只是前端数据，可以丢弃的话，把队列清空，看看还会不会卡？
- 2023-04-20 23:11five小点心的博客 传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特点的订阅者，而是将发布的消息分为不同的类别，订阅者只...
- 2022-01-28 09:47回答 1 已采纳 那最后写入到库了吗，如果写不进去，上游kafka肯定会延迟越来越大的，可以在sink里多打印下错误，或者设置写入超时时间，问题应该在写入
- 2021-07-02 11:07回答 2 已采纳 对kafka来说，只要这条数据发出去了，就算消费了，你消费者怎么处理，和kafka无关了。对消费者来说， 你只需要消费下一条就行了。至于偏移量， 你第一次消费的时候，是要发送偏移的，这个你消费者要本地
- 2022-06-11 10:41回答 1 已采纳 给你个例子，是可以收发的。验证通过再和你的对比一下，你应该哪里配错了。 springboot集成kafka、消息发送、消费使用_‘’小磊的博客-CSDN博客_spri
- 2021-07-06 20:11你的小王子的博客 kafka可是大数据中一个非常非常重要的组件，里面包含了很多分布式思想和分布式问题的解决方法，如精准一次的实现及isr机制，分布式事务等 kafka 是一个分布式的基于发布、订阅模式的消息队列，主要应用于大数据实时...
- 2022-03-23 11:28回答 1 已采纳 要保证集群中每一台机器的broker.id是唯一的也就是server.properties配置文件中找到broker.id，如果不存在的话就自己添加一行，配置方式是broker.id = 0broke
- 2021-07-05 16:53回答 1 已采纳 value的值为[B@1e1e585b这个明显是序列化后的Bytes字节类型嘛你反序列化成string就ok了
- 2021-07-27 10:36回答 1 已采纳 kafka调用send方法发送数据后 会返回一个ListenableFuture 这个ListenableFuture可以添加callback进行监听d
- 2022-07-26 17:16谐云的博客 在消费过程中消费者单次会拉取11条消息，每条消息耗时30s，11条消息耗时5分钟30秒，由于max.poll.interval.ms默认值5分钟，所以理论上消费者无法在5分钟内消费完，consumer会离开组，导致rebalance。
- 2022-08-26 11:43回答 1 已采纳 不是大小写问题，你的json里面是大写，代码里面是小写，改一下试试
- 2022-05-01 21:21qq_37705525的博客 大数据之kafka
- 2022-03-12 11:01mql007007的博客 大数据系列——Kafka理论
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月7日
创建了问题
9月29日
悬赏问题
- ¥15 matlab 用yalmip搭建模型，cplex求解，线性化处理的方法
- ¥15 qt6.6.3 基于百度云的语音识别 不会改
- ¥15 关于#目标检测#的问题：大概就是类似后台自动检测某下架商品的库存，在他监测到该商品上架并且可以购买的瞬间点击立即购买下单
- ¥15 神经网络怎么把隐含层变量融合到损失函数中？
- ¥15 lingo18勾选global solver求解使用的算法
- ¥15 全部备份安卓app数据包括密码，可以复制到另一手机上运行
- ¥20 测距传感器数据手册i2c
- ¥15 RPA正常跑，cmd输入cookies跑不出来
- ¥15 求帮我调试一下freefem代码
- ¥15 matlab代码解决，怎么运行