selico 2023-02-02 16:54 采纳率: 87.5%
浏览 45
已结题

不使用zk实现双机clickhouse、kafka数据同步

zk的算法需要至少3台服务器集群，而我们只有2台服务器。所以无法使用之前的zk集群来做心跳检测和数据同步。
目前需要实现双机kafka和clickhouse中的数据同步，由于zk双机集群会导致整个kafka和clickhouse集群不可用,
现需要新的方案去实现kafka和clickhouse数据同步。

  • 写回答

4条回答 默认 最新

  • 社区专家-Monster-XH 2023-02-02 17:14
    关注

    ''该回答引用ChatGPT''
    如对你的问题有帮助，请点击右侧采纳即可！
    没有使用ZooKeeper的话，一种可行的方案是利用ClickHouse的复制功能实现双机数据同步。ClickHouse的复制功能可以将一台ClickHouse节点的数据实时同步到另一台ClickHouse节点。可以将Kafka中的数据实时写入一台ClickHouse节点，然后再通过复制功能同步到另一台ClickHouse节点。这样两台ClickHouse节点就具有了相同的数据，并且在一台节点故障时，另一台节点可以提供数据服务。

    需要注意的是，这种方案要求Kafka的写入性能足够高，以保证数据在实时写入ClickHouse节点后可以快速复制到另一台节点，否则将导致数据不一致

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题？

问题事件

  • 系统已结题 2月11日
  • 已采纳回答 2月3日
  • 创建了问题 2月2日

悬赏问题

  • ¥20 机器学习能否像多层线性模型一样处理嵌套数据
  • ¥20 西门子S7-Graph,S7-300，梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改，求解答！！
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗？在Android studio上该如何部署？
  • ¥20 docker里部署springboot项目，访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效