OceanBase 4.2集群部署时钟同步失败如何处理？

Question

在部署OceanBase 4.2集群时，若服务器间NTP时钟同步异常，会导致节点间时间偏差超过允许阈值（通常为50ms），从而引发OBServer注册失败或频繁掉线。常见表现为日志中出现“clock offset too large”错误。该问题多因NTP服务未启用、系统防火墙阻断、NTP服务器配置不一致或stratum层级差异过大所致。需检查所有节点的NTP配置、确保与同一时间源同步，并通过`ntpq -p`验证同步状态。

Answer 1

1. 问题背景与现象描述

在部署 OceanBase 4.2 集群时，服务器间的 NTP 时钟同步是确保集群高可用和数据一致性的关键前提。当节点间的时间偏差超过系统允许的阈值（通常为 50ms），OBServer 进程将无法正常注册或会频繁掉线。典型日志错误为：clock offset too large，该提示明确指出本地节点检测到与其他节点时间差异过大。

此问题不仅影响集群初始化阶段的节点加入，还可能导致运行中的 OBServer 主动退出以避免分布式事务产生不一致状态。因此，NTP 同步异常虽属基础设施层问题，但直接影响数据库核心功能。

2. 常见原因分类分析

• NTP服务未启用：部分生产环境出于安全考虑默认关闭 ntpd 或 chronyd 服务，导致系统时间长期漂移。
• 防火墙阻断通信：UDP 端口 123 被系统防火墙或网络 ACL 阻止，使客户端无法与 NTP 服务器通信。
• NTP 配置不一致：各节点配置了不同的上游时间源，造成 stratum 层级不同或同步路径分散。
• Stratum 层级差异过大：若某节点连接的是 stratum 2 时间源，而另一节点使用 stratum 4，可能因累积误差导致偏移超标。
• 硬件时钟偏差严重：老旧服务器 RTC 晶振老化，长时间断电后开机时间跳跃明显。

3. 故障排查流程图

graph TD
    A[出现 clock offset too large 错误] --> B{检查所有节点 NTP 服务状态}
    B -->|服务未运行| C[启动 chronyd/ntpd 并设置开机自启]
    B -->|服务运行中| D[执行 ntpq -p 查看同步状态]
    D --> E[是否存在 * 或 + 标记的同步源?]
    E -->|否| F[检查 NTP 配置文件 server 列表是否一致]
    F --> G[确认是否指向同一组可靠时间源]
    G --> H[开放 UDP 123 端口并测试连通性]
    H --> I[重新加载配置并等待同步]
    E -->|是| J[查看 offset 值是否 > 50ms]
    J -->|是| K[强制时间校准 ntpdate 或 chronyc burst]
    J -->|否| L[继续观察 OB 日志是否恢复]

4. 关键诊断命令与输出示例

命令	作用说明	预期输出特征
systemctl status chronyd	检查 NTP 守护进程运行状态	Active: active (running)
ntpq -p	显示当前 NTP 对等体同步状态	* 表示主同步源，offset 应 < 50ms
chronyc sources -v	chrony 用户态工具查看源信息	MS 列中 ^* 表示当前优选源
timedatectl status	查看系统时间、时区及 NTP 启用状态	NTP synchronized: yes
firewall-cmd --list-ports | grep 123	验证防火墙是否放行 NTP 端口	123/udp 存在于列表中

5. 解决方案实施步骤

1. 统一所有 OceanBase 节点的 NTP 配置文件（如 /etc/chrony.conf），指定相同的权威时间服务器：

server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
server ntp3.aliyun.com iburst

1. 重启 chronyd 服务：systemctl restart chronyd
2. 使用 chronyc makestep 强制立即校准时钟，避免渐进式调整耗时过长
3. 通过脚本批量验证每个节点的 offset：

#!/bin/bash
for host in ob-node1 ob-node2 ob-node3; do
    echo "=== $host ==="
    ssh $host 'chronyc sources -v | grep "^*" || ntpq -p | grep "\*"' 
done

1. 确保每台机器 BIOS 时间与操作系统时间一致，防止重启后再次漂移
2. 配置监控项定期采集 chronyc sourcestats 中的偏移趋势，实现提前预警