一头小山猪 2023-01-14 04:00 采纳率: 100%
浏览 34
已结题

Kakfa的数据稳定消费问题

对于Kafka来说，如果希望在第一次部署的时候从最初开始消费数据，然后就能够记录相应的偏移量，在程序遇到异常重新启动后，能够从之前消费的位置继续进行消费的话，reset和auto.commit等相关参数要怎么设定，尝试几次好像都没有得到想要的效果。

要不就是总是从头开始消费，要不就是之前的完全不消费，从当前启动的时间点开始消费。主要是想处理好程序如果发生中断，启动后能够不丢失数据继续消费的问题，因为涉及到数据的分析统计，不能有重复统计的情况，也不能有丢失数据的情况。

  • 写回答

1条回答 默认 最新

  • 未来在这儿 2023-01-14 14:49
    关注

    你要记录你的消费的offset从指定offset开始消费。如果有过消费记录的话。如果不指定就从eariest开始消费

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 已结题 （查看结题原因） 1月20日
  • 已采纳回答 1月18日
  • 创建了问题 1月14日

悬赏问题

  • ¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线，如何释放宽带全部速度
  • ¥30 关于#r语言#的问题：如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
  • ¥15 ETLCloud 处理json多层级问题
  • ¥15 matlab中使用gurobi时报错
  • ¥15 这个主板怎么能扩出一两个sata口
  • ¥15 不是，这到底错哪儿了😭
  • ¥15 2020长安杯与连接网探
  • ¥15 关于#matlab#的问题：在模糊控制器中选出线路信息，在simulink中根据线路信息生成速度时间目标曲线（初速度为20m/s，15秒后减为0的速度时间图像）我想问线路信息是什么