zk的算法需要至少3台服务器集群,而我们只有2台服务器。所以无法使用之前的zk集群来做心跳检测和数据同步。
目前需要实现双机kafka和clickhouse中的数据同步,由于zk双机集群会导致整个kafka和clickhouse集群不可用,
现需要新的方案去实现kafka和clickhouse数据同步。
4条回答 默认 最新
- 社区专家-Monster-XH 2023-02-02 09:14关注
''该回答引用ChatGPT''
如对你的问题有帮助,请点击右侧采纳即可!
没有使用ZooKeeper的话,一种可行的方案是利用ClickHouse的复制功能实现双机数据同步。ClickHouse的复制功能可以将一台ClickHouse节点的数据实时同步到另一台ClickHouse节点。可以将Kafka中的数据实时写入一台ClickHouse节点,然后再通过复制功能同步到另一台ClickHouse节点。这样两台ClickHouse节点就具有了相同的数据,并且在一台节点故障时,另一台节点可以提供数据服务。需要注意的是,这种方案要求Kafka的写入性能足够高,以保证数据在实时写入ClickHouse节点后可以快速复制到另一台节点,否则将导致数据不一致
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报