提问,kafka的mirrormaker2是不支持主题的副本数同步吗?
mm2的配置文件里面只看到有
远端创建新topic的replication数量设置
replication.factor=3
这个配置,只能设置固定的副本数。不支持副本数与主集群的主题副本数相同吗?
目前场景就是,我想要我修改主集群的主题副本数后,副中心的副本数能够跟着同步。
提问,kafka的mirrormaker2是不支持主题的副本数同步吗?
mm2的配置文件里面只看到有
replication.factor=3
这个配置,只能设置固定的副本数。不支持副本数与主集群的主题副本数相同吗?
目前场景就是,我想要我修改主集群的主题副本数后,副中心的副本数能够跟着同步。
以下回复参考:皆我百晓生、券券喵儿等免费微信小程序作答:
Mirrormaker 是用于镜像复制 Kafka 主题数据的工具,它可以将数据从一个 Kafka 集群复制到另一个集群。关于你的问题,Mirrormaker 本身并不支持自动同步源集群的主题副本数到目标集群。也就是说,你不能直接通过配置 Mirrormaker 来使目标集群的主题副本数与源集群保持一致。
你提到的 replication.factor 配置项是用于设置目标集群中主题副本数的,但你需要手动设定一个固定的值。Mirrormaker 在复制数据时不会自动调整目标集群的副本数,更不会根据源集群的副本数来动态调整。
如果你想要实现源集群主题副本数变更时自动同步到目标集群,你可能需要借助其他工具或自定义脚本来实现这一功能。例如,你可以监控源集群的主题副本数变化,并在发生变化时触发一个脚本,该脚本通过修改目标集群的配置或使用 Kafka 客户端工具来更新目标集群的主题副本数。这样,你可以实现当源集群的主题副本数变化时,目标集群的副本数也随之变化。
但请注意,这样的方案需要考虑到多种因素,比如延迟、错误处理、一致性等。此外,修改 Kafka 集群的主题副本数是一个比较敏感的操作,需要谨慎处理,以避免数据丢失或服务中断等问题。在实施任何自动化操作之前,请确保你充分理解相关风险并进行了充分的测试。