clickhouse报DB::Exception: Failed to wait RAFT initialization

问题遇到的现象和发生背景

clickhouse启动正常，执行clickhouse-client命令，报无法连接9000端口，日志报错原因：Application: DB::Exception: Failed to wait RAFT initialization

报错日志


2024.08.23 17:18:13.836623 [ 1496250 ] {} <Error> RaftInstance: failed to accept a rpc connection due to error 125, Operation canceled
2024.08.23 17:18:13.848202 [ 1496235 ] {} <Error> Application: DB::Exception: Failed to wait RAFT initialization
 
2024.08.23 17:18:44.589182 [ 1497071 ] {} <Warning> KeeperLogStore: Removing all changelogs
2024.08.23 17:18:44.589266 [ 1497071 ] {} <Warning> KeeperLogStore: Moving broken logs to /data/clickhouse/keeper/log/detached/20240823T171844
2024.08.23 17:18:44.589341 [ 1497071 ] {} <Warning> KeeperLogStore: Removing changelog /data/clickhouse/keeper/log/changelog_1_100000.bin.zstd

config.xml新增配置，及metrika.xml配置

<keeper_server>
   <tcp_port>9181</tcp_port>
   <server_id>1</server_id>
   <log_storage_path>/data/clickhouse/keeper/log</log_storage_path>
   <snapshot_storage_path>/data/clickhouse/keeper/coordination/snapshots</snapshot_storage_path>
   <coordination_settings>
       <operation_timeout_ms>10000</operation_timeout_ms>
       <session_timeout_ms>30000</session_timeout_ms>
       <raft_logs_level>trace</raft_logs_level>
   </coordination_settings>
   <raft_configuration>
       <server>
           <id>1</id>
           <hostname>134.133.12.70</hostname>
           <port>9444</port>
       </server>
       <server>
           <id>2</id>
           <hostname>134.133.12.71</hostname>
           <port>9444</port>
       </server>
       <server>
           <id>3</id>
           <hostname>134.133.12.72</hostname>
           <port>9444</port>
       </server>
       <server>
           <id>4</id>
           <hostname>134.133.12.73</hostname>
           <port>9444</port>
       </server>
       <server>
           <id>5</id>
           <hostname>134.133.12.74</hostname>
           <port>9444</port>
       </server>
   </raft_configuration>
</keeper_server>
<listen_host>::</listen_host>
<include_from>/etc/clickhouse-server/metrika.xml</include_from>
<remote_servers incl="clickhouse_remote_servers" optional="true"/>
<zookeeper incl="zookeeper-servers" optional="true"/>
<macros incl="macros" optional="true"/>

<clickhouse>
   <zookeeper-servers>
       <node index="1">
           <host>134.133.12.70</host>
           <port>9181</port>
       </node>
       <node index="2">
           <host>134.133.12.71</host>
           <port>9181</port>
       </node>
       <node index="3">
           <host>134.133.12.72</host>
           <port>9181</port>
       </node>
       <node index="4">
           <host>134.133.12.73</host>
           <port>9181</port>
       </node>
       <node index="5">
           <host>134.133.12.74</host>
           <port>9181</port>
       </node>
       <node index="6">
           <host>134.133.12.75</host>
           <port>9181</port>
       </node>
       <node index="7">
           <host>134.133.12.76</host>
           <port>9181</port>
       </node>
       <node index="8">
           <host>134.133.12.77</host>
           <port>9181</port>
       </node>
       <node index="9">
           <host>134.133.12.78</host>
           <port>9181</port>
       </node>
       <node index="10">
           <host>134.133.12.79</host>
           <port>9181</port>
       </node>
   </zookeeper-servers>
   <clickhouse_remote_servers>
       <ck_hnids>
           <secret>foo</secret>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>
                   <host>134.133.12.70</host>
                   <port>9000</port>
               </replica>
               <replica>
                   <host>134.133.12.75</host>
                   <port>9000</port>
               </replica>
           </shard>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>
                   <host>134.133.12.71</host>
                   <port>9000</port>
               </replica>
               <replica>
                   <host>134.133.12.76</host>
                   <port>9000</port>
               </replica>
           </shard>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>
                   <host>134.133.12.72</host>
                   <port>9000</port>
               </replica>
               <replica>
                   <host>134.133.12.77</host>
                   <port>9000</port>
               </replica>
           </shard>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>
                   <host>134.133.12.73</host>
                   <port>9000</port>
               </replica>
               <replica>
                   <host>134.133.12.78</host>
                   <port>9000</port>
               </replica>
           </shard>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>
                   <host>134.133.12.74</host>
                   <port>9000</port>
               </replica>
               <replica>
                   <host>134.133.12.79</host>
                   <port>9000</port>
               </replica>
           </shard>
       </ck_hnids>
   </clickhouse_remote_servers>
   <macros>
       <cluster>ck_hnids</cluster>
       <shard>04</shard>
       <replica>clickhouse4</replica>
   </macros>
   <networks>
       <ip>::/0</ip>
   </networks>
   <!--数据压缩配置 MergeTree-引擎表-->
   <clickhouse_compression>
       <case>
           <min_part_size>10000000000</min_part_size>
           <min_part_size_ratio>0.01</min_part_size_ratio>
           <method>lz4</method>
       </case>
   </clickhouse_compression>
</clickhouse>

运行结果

启动状态正常运行，日志报错

解决尝试

尝试重新安装clickhouse，但问题一样，求解答

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
清水白石008 2024-08-24 06:25
关注
🕒上午好，题主！目前：🟢[在线] 📢参考GPT-4o mini 模型、由清水白石008整理提供！ 📣今日金句：“知识就是力量。” — 弗朗西斯·培根

根据你提供的信息，ClickHouse 启动正常，但在执行 clickhouse-client 命令时无法连接到 9000 端口，并且日志中出现了 Failed to wait RAFT initialization 的错误。这通常与 RAFT 协议的初始化失败有关，可能是由于配置问题、网络问题或其他原因导致的。

可能的原因和解决方案

检查网络连接：

确保 ClickHouse 服务器之间的网络连接正常。可以使用 ping 命令检查各个节点之间的连通性。
确保防火墙没有阻止 9000 和 9181 端口的流量。

检查配置文件：

确保 config.xml 和 metrika.xml 中的配置正确无误，特别是 keeper_server 和 zookeeper-servers 的配置。
确保 raft_configuration 中的服务器 ID 和主机名与实际部署的服务器一致。

查看日志文件：

查看 ClickHouse 的其他日志文件，可能会有更详细的错误信息。日志文件通常位于 /var/log/clickhouse-server/ 目录下。
特别关注 keeper 和 raft 相关的日志，可能会提供更多线索。

检查 Zookeeper 状态：

确保 Zookeeper 正在运行，并且所有节点都能正常连接到 Zookeeper。
可以使用 zkCli.sh 工具连接到 Zookeeper，检查节点状态。

RAID 和存储问题：

检查存储设备是否正常工作，确保没有磁盘故障或 RAID 问题。
确保 ClickHouse 有足够的权限访问日志和快照存储路径。

重启 ClickHouse：

尝试重启 ClickHouse 服务，看看是否能解决问题。

版本兼容性：

确保 ClickHouse 的版本与 Zookeeper 的版本兼容，某些版本之间可能存在不兼容的问题。

清理旧日志：

根据日志中的提示，可能需要清理旧的 changelog 和快照文件。可以手动删除 /data/clickhouse/keeper/log/detached/ 中的旧日志文件。

增加超时时间：

如果网络延迟较高，可以尝试增加 operation_timeout_ms 和 session_timeout_ms 的值。

示例命令

如果你需要检查 Zookeeper 的状态，可以使用以下命令：

# 连接到 Zookeeper /path/to/zookeeper/bin/zkCli.sh -server 134.133.12.70:9181

在 Zookeeper CLI 中，你可以使用 ls / 命令查看根节点下的内容，确认 Zookeeper 是否正常工作。

总结

根据你的描述，问题可能与 RAFT 初始化失败有关，建议从网络连接、配置文件、Zookeeper 状态等方面进行排查。如果问题仍然存在，可以考虑在 ClickHouse 的 GitHub 或社区论坛上寻求帮助，提供详细的日志和配置文件以便更好地诊断问题。
解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

Golang UNIX套接字：在不同的套接字上为RPC注册相同的类型？
2017-07-28 15:25

回答 1 已采纳 I think it is because you are using DefaultServer as your RPC server. Instead you should create di
Goraft中所有节点的状态
2016-02-17 09:19

回答 1 已采纳 I did it. I have just insertednew line in goraft-library code where leader selection happens. So
有了像DAOS 或者Ceph这种分布式对象存储系统，还需要数据库吗分布式数据库
2022-09-01 09:19

回答 1 已采纳需要数据库。以OLTP关系型数据库为例，比如MySQL，除了安全存储数据以外，还会保障业务数据的高并发情况下的快速访问，具有事务特性，表等数据对象更符合外部世界对象。
Java分布式事务Seata安装和使用，SpringCloud Seata分布式事务安装配置和使用
2021-05-10 12:40

蕃薯耀的博客 Caused by: io.seata.core.exception.TmTransactionException: TransactionException[begin global request failed. xid=null, msg=Data truncation: Data too long for column 'transaction_service_group' at row...
Go中的赋值声明的LHS下划线
2018-05-18 15:37

回答 3 已采纳 The code is machine generated. The generator added the statements _ = i to avoid unused variable d
Mysql将具有特定列和unix时间戳的所有行从一个表复制到另一个表 mysql php
2015-05-04 18:11

回答 1 已采纳 You can use INSERT INTO SELECT rather than looping: INSERT INTO Table2(name,link,date) SELECT nam
参加Webapp集群负责人选举
2016-01-30 23:13

回答 1 已采纳 Based on your fault tolerance and consistency requirements - in particular preventing split brain
分布式事务一站式解决方案-Seata
2024-08-07 22:40

hogenlaw的博客 db 、 redis 、 raft mode: db session: mode: db lock: mode: db file: dir: sessionStore max-branch-session-size: 16384 max-global-session-size: 512 file-write-buffer-cache-size: 16384 session-reload-...
Hazelcast（Java）和ETCD（golang）的区别/相似之处？ etcd java
2015-06-23 18:50

回答 2 已采纳 Hazelcast and etcd are two very different systems. The reason is the CAP theorem. The CAP theorem
如何使超时功能更好
2014-03-08 07:21

回答 1 已采纳 I presume you mean time.After? I wrote a quick benchmark to answer this question. Run with go te
MySQL和PHP查询日期= $ date问题 mysql php
2013-09-17 12:08

回答 3 已采纳 Try: $query = " SELECT * FROM administrative WHERE dob = '$dob' ORDER BY lastname ASC ";
【seata】 seata整合nacos+springcloud alibaba+openfeign+fallbackFactory保姆级教程解决openfeign降级 seata失效问题及各种坑点
2023-12-15 14:48

孟秋与你的博客 raft_port=8809 ## for AddressServerMemberLookup # Maximum number of retries to query the address server upon initialization # nacos.core.address-server.retry=5 ## Server domain name address of ...
将HTML电子邮件转换为“Well Formed XHTML Code” php
2010-09-21 17:19

回答 3 已采纳 It is not that badly formed. Just call quoted_printable_decode() on it first. edit: well, it solv
MIT 6.s081学习笔记
2022-03-10 19:42

BoL0150的博客 // run command in the left side of pipe |, output redirected to the write end of pipe } if(fork1() == 0){ // in child process close(0); // close stdin dup(p[0]); // make the fd 0 as the read end of ...
Java基础
2021-12-22 18:51

辞暮尔尔-烟火年年的博客知识点：@RestController注解相当于@ResponseBody ＋ @Controller合在一起的作用。如果只是使用@RestController... 如果需要返回到指定页面，则需要用 @Controller配合视图解析器InternalResourceViewResolver才
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 8月24日

悬赏问题

¥15 模电中二极管，三极管和电容的应用
¥15 关于模型导入UNITY的.FBX: Check external application preferences.警告。
¥15 气象网格数据与卫星轨道数据如何匹配
¥100 java ee ssm项目悬赏，感兴趣直接联系我
¥15 微软账户问题不小心注销了好像
¥15 x264库中预测模式字IPM、运动向量差MVD、量化后的DCT系数的位置
¥15 curl 命令调用正常，程序调用报 java.net.ConnectException: connection refused
¥20 关于web前端如何播放二次加密m3u8视频的问题
¥15 使用百度地图api 位置函数报错？
¥15 metamask如何添加TRON自定义网络

clickhouse报DB::Exception: Failed to wait RAFT initialization

问题遇到的现象和发生背景

报错日志

config.xml新增配置，及metrika.xml配置

运行结果

解决尝试

2条回答 默认 最新

可能的原因和解决方案

示例命令

总结

问题事件

悬赏问题

2条回答默认最新