1、kafka搭建的为单机版本，整合到项目中，获取的都是最新的数据
2、现在的问题是 怎么样获取之前的offset。
3、比如说多个生产者端同时发送数据，怎么样可以一一接收，并存储到数据库中
求求大佬们了，给个建议！！！！！！
不胜感激
1条回答 默认 最新
zyt_jam 2020-05-13 19:59关注kafka消费是可以指定offset的，你手动指定一个不就好了？
多个生产者同时发送数据，你是要保证按照发送的顺序一一写到数据库中么？这样子的话可以只给当前topic，设置一个分区就行了
不知道我回答的有没有到你的点子上，欢迎继续交流~本回答被题主选为最佳回答 , 对您是否有帮助呢?解决评论 打赏无用 1举报
分享
- 2020-04-28 14:06回答 1 已采纳 kafka消费是可以指定offset的，你手动指定一个不就好了？ 多个生产者同时发送数据，你是要保证按照发送的顺序一一写到数据库中么？这样子的话可以只给当前topic，设置一个分区就行了 不知道我
- 2021-07-27 10:36回答 1 已采纳 kafka调用send方法发送数据后 会返回一个ListenableFuture 这个ListenableFuture可以添加callback进行监听d
- 2022-02-16 19:32回答 4 已采纳 重新开一个topic，然后先启动consumer，再启动producer，再发消息，你这个可能是consumer已经在broker里有了自己的offset，就会读不到之前producer发送到brok
- 2021-03-05 11:09weixin_39961855的博客 之前笔者曾经写过通过scala的方式获取kafka最新的offset但是大多数的情况我们需要使用java的方式进行获取最新offset以下是通过java代码获取kafka最新offsetGetOffsetShellWrappublic class GetOffsetShellWrap { ...
- 2023-01-31 14:43回答 2 已采纳 Spark Structured Streaming 集成 Kafka 的 offset 管理方式有如下几种： 利用 Spark checkpoint 文件提交 offset 给 Kafka常用的方案
- 2022-08-23 10:01回答 1 已采纳 同一个消费组能同时消费的消费者数量和topic的分区数有关，估计是你的topic只有两个分区所以使用相同的groupid只有两个消费者在消费，加一个分区就好
- 2022-12-20 23:32回答 1 已采纳 消息经过序列化之后就需要确定它发往的分区，如果消息ProducerRecord中指定了partition字段，那么就不需要分区器的作用，因为partition代表的就是所要发往的分区号。如果消息Pro
- 2021-03-25 10:35730267的博客 //这是对kafka自带工具包的扩展object GetOffsetShellWrap {//在主函数添加一个参数mapdef main(args: Array[String],map: ArrayBuffer[String]): Unit ={//对参数的解析val parser= newOptionParserval ...
- 2022-06-11 10:41回答 1 已采纳 给你个例子，是可以收发的。验证通过再和你的对比一下，你应该哪里配错了。 springboot集成kafka、消息发送、消费使用_‘’小磊的博客-CSDN博客_spri
- 2022-10-26 12:40回答 4 已采纳 MySQL binlog状态，连接器startup.model选项使用那种形式，最后不行在看debezium的日志
- 2022-10-25 09:26回答 5 已采纳 感觉消息堆积有点厉害，查一下代码，是因为什么原因导致消息一直没被消费。如果只是前端数据，可以丢弃的话，把队列清空，看看还会不会卡？
- 2021-03-25 10:36我解决我的问题的博客 从kafka的0.8.11版本开始，它会将consumer的offset提交给ZooKeeper。然而当offset的数量(consumer数量 * partition的数量)的很多的时候，ZooKeeper的适应性就可能会出现不足。幸运的是，Kafka现在提供了一种理想的...
- 2021-07-02 11:07回答 2 已采纳 对kafka来说，只要这条数据发出去了，就算消费了，你消费者怎么处理，和kafka无关了。对消费者来说， 你只需要消费下一条就行了。至于偏移量， 你第一次消费的时候，是要发送偏移的，这个你消费者要本地
- 2023-04-13 18:26窦了豆子的博客 【代码】java监控kafka获取 logSize offset lag。
- 2022-06-29 17:04yololee_的博客 kafka的Java客户端-offset
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 12月22日-
已采纳回答
12月22日
悬赏问题
- ¥100 set_link_state
- ¥15 虚幻5 UE美术毛发渲染
- ¥15 CVRP 图论 物流运输优化
- ¥15 Tableau online 嵌入ppt失败
- ¥100 支付宝网页转账系统不识别账号
- ¥15 基于单片机的靶位控制系统
- ¥15 真我手机蓝牙传输进度消息被关闭了，怎么打开？(关键词-消息通知)
- ¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
- ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
- ¥15 手机接入宽带网线，如何释放宽带全部速度