一头小山猪 2023-01-14 04:00 采纳率: 100%
浏览 34
已结题

Kakfa的数据稳定消费问题

对于Kafka来说，如果希望在第一次部署的时候从最初开始消费数据，然后就能够记录相应的偏移量，在程序遇到异常重新启动后，能够从之前消费的位置继续进行消费的话，reset和auto.commit等相关参数要怎么设定，尝试几次好像都没有得到想要的效果。

要不就是总是从头开始消费，要不就是之前的完全不消费，从当前启动的时间点开始消费。主要是想处理好程序如果发生中断，启动后能够不丢失数据继续消费的问题，因为涉及到数据的分析统计，不能有重复统计的情况，也不能有丢失数据的情况。

  • 写回答

1条回答 默认 最新

  • 未来在这儿 2023-01-14 14:49
    关注

    你要记录你的消费的offset从指定offset开始消费。如果有过消费记录的话。如果不指定就从eariest开始消费

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 已结题 （查看结题原因） 1月20日
  • 已采纳回答 1月18日
  • 创建了问题 1月14日

悬赏问题

  • ¥15 求指导ADS低噪放设计
  • ¥15 CARSIM前车变道设置
  • ¥50 三种调度算法报错 有实例
  • ¥15 关于#python#的问题，请各位专家解答！
  • ¥200 询问：python实现大地主题正反算的程序设计，有偿
  • ¥15 smptlib使用465端口发送邮件失败
  • ¥200 总是报错，能帮助用python实现程序实现高斯正反算吗？有偿
  • ¥15 对于squad数据集的基于bert模型的微调
  • ¥15 为什么我运行这个网络会出现以下报错？CRNN神经网络
  • ¥20 steam下载游戏占用内存