selico 2023-02-02 16:54 采纳率: 87.5%
浏览 48
已结题

不使用zk实现双机clickhouse、kafka数据同步

zk的算法需要至少3台服务器集群，而我们只有2台服务器。所以无法使用之前的zk集群来做心跳检测和数据同步。
目前需要实现双机kafka和clickhouse中的数据同步，由于zk双机集群会导致整个kafka和clickhouse集群不可用,
现需要新的方案去实现kafka和clickhouse数据同步。

  • 写回答

4条回答 默认 最新

  • 社区专家-Monster-XH 2023-02-02 17:14
    关注

    ''该回答引用ChatGPT''
    如对你的问题有帮助，请点击右侧采纳即可！
    没有使用ZooKeeper的话，一种可行的方案是利用ClickHouse的复制功能实现双机数据同步。ClickHouse的复制功能可以将一台ClickHouse节点的数据实时同步到另一台ClickHouse节点。可以将Kafka中的数据实时写入一台ClickHouse节点，然后再通过复制功能同步到另一台ClickHouse节点。这样两台ClickHouse节点就具有了相同的数据，并且在一台节点故障时，另一台节点可以提供数据服务。

    需要注意的是，这种方案要求Kafka的写入性能足够高，以保证数据在实时写入ClickHouse节点后可以快速复制到另一台节点，否则将导致数据不一致

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题？

问题事件

  • 系统已结题 2月11日
  • 已采纳回答 2月3日
  • 创建了问题 2月2日

悬赏问题

  • ¥15 准备学习小程序搭建，谁能手把手的教我啊？
  • ¥15 关于#嵌入式硬件#的问题：树莓派第一天重装配置python和opencv后第二天打开就成这样，瞎捣鼓搞出来文件夹还是没把原来的界面调回来
  • ¥20 Arduino 循迹小车程序电路出错故障求解
  • ¥20 Arduino 循迹小车程序电路出错故障求解
  • ¥100 AT89C52单片机C语言调试之后再回答
  • ¥15 AT89C52单片机C语言串口助手发送数据包返回值
  • ¥15 C++数组中找第二小的数字程序纠错
  • ¥15 wannier复现图像时berry曲率极值点与高对称点严重偏移
  • ¥15 利用决策森林为什么会出现这样·的问题(关键词-情感分析)
  • ¥15 DispatcherServlet.noHandlerFound No mapping found for HTTP request with URI[/untitled30_war_e