一头小山猪 2023-01-14 04:00 采纳率: 100%
浏览 34
已结题

Kakfa的数据稳定消费问题

对于Kafka来说,如果希望在第一次部署的时候从最初开始消费数据,然后就能够记录相应的偏移量,在程序遇到异常重新启动后,能够从之前消费的位置继续进行消费的话,reset和auto.commit等相关参数要怎么设定,尝试几次好像都没有得到想要的效果。

要不就是总是从头开始消费,要不就是之前的完全不消费,从当前启动的时间点开始消费。主要是想处理好程序如果发生中断,启动后能够不丢失数据继续消费的问题,因为涉及到数据的分析统计,不能有重复统计的情况,也不能有丢失数据的情况。

  • 写回答

1条回答 默认 最新

  • 未来在这儿 2023-01-14 14:49
    关注

    你要记录你的消费的offset从指定offset开始消费。如果有过消费记录的话。如果不指定就从eariest开始消费

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 1月20日
  • 已采纳回答 1月18日
  • 创建了问题 1月14日

悬赏问题

  • ¥15 三菱变频器模块怎么检测触发
  • ¥30 求一下解题思路,完全不懂。
  • ¥30 关于#硬件工程#的问题:求一下解题思路
  • ¥15 运筹学对偶单纯行法构造扩充问题
  • ¥20 XP系统的老电脑一开机就提示找不到rundll.exe,付费求解
  • ¥15 milvus查询出来的score怎么转换成0-1之间的相似性
  • ¥15 lvgl V9移植到linux开发板
  • ¥15 VB.net中在窗体中创建一个button控件来关闭窗体,但是提示错误,我该怎么办
  • ¥15 网上下载好的程序但是arduinoIDE编程报错,运行不了,哪里出错了,能具体给改一下吗
  • ¥15 Sharepoint JS开发 付费技术指导