kafka Consumer消费数据手动commit问题

Question

Consumer设置成手动提交enable.auto.commit=false，但是在处理完消息过后没有进行consumer.commitAsync()。按照我的理解此时消费的offset是没有更新的，如果第一次producer发了五条信息，Consumer处理了这五条信息，第二次Producer又发五条信息，此时Consumer poll数据的时候应该是第一次和第二次相加的10条数据（因为消费的offset没有更新，Consumer应该从第一次发送的数据进行poll），但是我测试的结果是还是五条（Consumer没有重启，一直启动的，producer发多少条消息，Consumer就消费多少条消息）。
我的疑问就是，既然没有commit最新的 offset，那么为什么producer发送新发送的消息，Consumer就能接收到，而不是从原来的offset poll数据。但是，如果重启一下Consumer，poll的数据就是10条。再重启也是最新的没有更新offset的那10条数据。

Answer 1

因为kafka的offset下标的记录实际会有两份，服务端会自己记录一份，本地的消费者客户端也会记录一份，所以Consumer接收并打印出来的消息是：1、2、3、4、5、6、7、8、9、10。如果两次拉取之间有个重启，consumer本地的记录就会消失。得到的信息就是 1、2、3、4、5、1、2、3、4、5、6、7、8、9、10。
这时，如果有多个线程的话，每一个线程都会消费重复全部的消息。就好像只有一个线程一样。