弥生i
2021-07-02 11:07
采纳率: 66.7%
浏览 75
已采纳

flink消费kafka

flink消费kafka,在写source时用filter算子过滤掉某条数据后,会消费掉该kafka数据吗,该消息的偏移量会提交吗。FlinkKafkaConsumer010中如何获取kafka的偏移量呢,有大佬知道吗

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • 老紫竹 2021-07-02 15:22
    已采纳

    对kafka来说,只要这条数据发出去了,就算消费了,你消费者怎么处理,和kafka无关了。
    对消费者来说, 你只需要消费下一条就行了。
    至于偏移量, 你第一次消费的时候,是要发送偏移的,这个你消费者要本地记住的,否则就重复消费了。

    点赞 1 评论
  • 钢镚儿_zzz 2021-07-02 11:29

    我知道你过来我给你说

    点赞 1 评论
  • XuTengRui 2021-07-05 10:58

    过滤也算消费啊
    Flink Kafka Source目前还不支持获取Offsets偏移量,需要自己获取然后保存到Redis中,实现方法可以看下Spark自己保存offsets方法。如果你下游数据可以实现幂等性,再加上定期checkpoint,可以重复消费也就没必要了。

    点赞 1 评论

相关推荐 更多相似问题