topic扩分区后，新分区的部分消息被跳过了

Question

您好，我们使用了的是2.4.2版本的kafka，auto.offset.reset=latest，topic扩分区后，新扩的分区的部分消息，被消费者跳过了，这种我们想通过调整metadata.max.age.ms改成10秒来规避，但理论还是存在跳过少量消息，有没有其它的解决办法？
只要生产者比消费者先更新元数据的话，就可能出现这个问题，先生产到分区的消息，消费者就消费不到
谢谢

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

在Kafka中，当您增加topic的分区数量时，确实可能会出现消费者跳过新分区部分消息的情况。这主要是由于消费者在获取新的元数据信息和分区偏移量时的时间差造成的。您提到的调整metadata.max.age.ms确实是一种尝试解决问题的方法，但它不能完全避免消息跳过的问题。下面是针对您的问题给出的几种可能的解决方案：

1. 确保消费者的速度与其接收新的分区元数据信息的速度相匹配：消费者应该定期更新其元数据，以便获取最新的分区信息。您可以尝试调整metadata.max.age.ms的值来加快元数据更新的频率。尽管这样可能减少消息跳过的情况，但仍无法保证完全避免该问题。因为生产者已经生产到了新的分区上，消费者的速度仍然需要与主题的结构变化同步。
2. 使用动态分区分配策略：在消费者启动时，可以使用动态分区分配策略来确保每个消费者都能自动分配到新的分区上。这样，当添加新分区时，它们将被均匀地分配到所有现有消费者中。但这可能需要根据您现有的环境和用例进行相应的调整和配置。此外，这个解决方案还可能需要定制或更新消费者的配置和管理脚本以支持这种动态行为。这可以在很大程度上减少跳过消息的情况，但仍然不能保证完全避免。
3. 重新平衡消费者组：在增加分区后，手动触发消费者组的重新平衡可能会帮助同步所有消费者的偏移量。在重新平衡期间，消费者会重新获取主题的所有分区分配信息，并根据其偏移量恢复消费进度。但请注意，这可能会导致短暂的停机时间或数据不一致性。因此，请谨慎使用此方法，并确保在生产环境中进行充分的测试。此外，确保您的Kafka版本支持这一特性并正确配置消费者客户端库也很重要。请在实施此方案前进行全面的评估并确保测试有效性和可行性。综上所述，由于此问题是生产者与消费者间的速度匹配性问题之一致性因素复杂化的结果很难给出一个简单解决此问题的方法方案采用最佳做法是预防性的调整配置和策略来最大限度地减少消息跳过的情况同时确保系统的稳定性和可靠性。