kafka异步提交偏移量的问题

Question

关于kafka异步提交偏移量，一直有一个疑问：
就是消费者在一次拉取后，拉取到偏移量为N到N+10的十条消息，并进行消费，之后采用异步提交偏移量N+11。因为是异步提交，kafka客户端继续进行了下一拉取，如果这时候异步提交偏移量是在第二次拉取之后才成功的，那么kafka客户端的第二次拉取不是依然会从偏移量为N的地方拉取消息从而导致重复消费么？

Answer 1

由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费
Kafka 0.9版本之前，consumer默认将offset保存在Zookeeper中，从0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为 _consumer_offsets

在这里我们要引入一个叫做hw水位线的概念，注释:leader就是主机，follower就是从机(kafka配置在集群中)

全称 high watermarker 水位线。
ISR列表中，每个写入对应分区中leader副本的数据，follower会拉取数据期望与leader数据进行同步数据和offset，此刻因为网络延迟，会导致不同的follower拉取的速度不一样，在高并发场景下follower通常会滞后于leader，那么ISR内部offset最低的那个值就是HW。
作用：
消费者只能消费HW这个offset以下的数据。