Rook部署Ceph集群时常见问题有哪些？

Question

在使用 Rook 部署 Ceph 集群时，一个常见问题是 Ceph Pods 无法正常启动或持续处于 CrashLoopBackOff 状态。这通常由节点资源不足、PV 配置错误或存储设备未正确挂载引起。此外，Rook Operator 日志显示“failed to create cluster: timeout waiting for mons to reach quorum”也较为典型，多因网络策略限制、节点间时间不同步或监控（mon）持久化存储未就绪所致。需检查 kubelet 和容器运行时对 hostPath 或本地 PV 的访问权限，并确保各组件间网络互通。

Answer 1

一、Ceph Pods 启动失败的常见现象与初步诊断

在使用 Rook 部署 Ceph 集群时，最常见的问题之一是 Ceph 相关 Pod（如 mon、mgr、osd）无法正常启动，持续处于 CrashLoopBackOff 状态。通过 kubectl get pods -n rook-ceph 可观察到此类异常。

初步排查应从以下三个维度入手：

• 资源限制：节点 CPU 或内存不足导致容器被频繁终止。
• PV 配置错误：Ceph 组件依赖持久卷（PV），若未正确绑定或容量不足，将导致挂载失败。
• 存储设备未就绪：Rook 期望管理裸设备或路径，若设备未暴露给 kubelet，则 OSD 初始化失败。

二、深入分析：从日志定位根本原因

当发现 Ceph Pods 处于异常状态时，需立即查看其容器日志。以 mon Pod 为例：

kubectl logs -n rook-ceph rook-ceph-mon-a-xxxxx

典型输出可能包含：

日志片段	含义解释
"failed to bind socket"	网络端口冲突或主机网络配置错误
"permission denied on /var/lib/rook"	hostPath 权限不足
"device is busy or not found"	OSD 设备已被占用或未识别
"timeout waiting for mons to reach quorum"	监控节点间通信异常

三、Rook Operator 日志中的关键线索

Rook Operator 是集群编排的核心组件，其日志常记录“failed to create cluster: timeout waiting for mons to reach quorum”错误。该问题通常涉及：

1. 网络策略（NetworkPolicy）阻止了 mon 节点间的 3300/6789 端口通信。
2. 节点系统时间不同步，影响 Paxos 协议达成共识。
3. mon 的 PV 尚未成功供给，或 PVC 处于 Pending 状态。
4. Kubelet 无权访问 /var/lib/rook 或本地设备路径。

可通过如下命令获取 operator 日志：

kubectl logs -n rook-ceph $(kubectl get pods -n rook-ceph -l app=rook-ceph-operator -o jsonpath='{.items[0].metadata.name}')

四、系统级检查清单

为确保环境满足 Rook + Ceph 运行要求，建议执行以下系统级验证：

检查项	验证方法	预期结果
节点资源	free -h; kubectl describe node	内存 ≥16GB，CPU ≥4核，预留资源充足
时间同步	timedatectl status	NTP 已启用且所有节点时间偏差 < 50ms
PV 可用性	kubectl get pv,pvc -n rook-ceph	PVC 均为 Bound 状态
设备访问权限	ls -l /dev/sdb（示例设备）	root 可读写，SELinux 不拦截
hostPath 访问	stat /var/lib/rook	目录存在且属主为 root:root

五、网络与安全策略深度剖析

Ceph mon 和 mgr 组件依赖低延迟、高可靠的内部通信。Kubernetes 的 NetworkPolicy 若配置不当，会直接阻断关键流量。

推荐使用如下 NetworkPolicy 允许 rook-ceph 命名空间内互通：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-rook-internal
  namespace: rook-ceph
spec:
  podSelector: {}
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          kubernetes.io/metadata.name: rook-ceph
  policyTypes:
  - Ingress

六、架构流程图：Ceph 集群初始化失败路径分析

下图为 Rook 创建 Ceph 集群过程中发生超时的典型调用链路：

graph TD
    A[Rook Operator 接收到 CephCluster CR] --> B{是否已有 PV?}
    B -- 否 --> C[动态创建 PV via StorageClass]
    B -- 是 --> D[绑定 PVC]
    C --> E[PV 是否 Ready?]
    E -- 否 --> F[等待 Storage Provisioner]
    D --> G[启动 mon Pod]
    G --> H{是否加入 quorum?}
    H -- 否 --> I[检查网络连通性]
    I --> J[验证防火墙/NP/端口开放]
    J --> K[确认节点时间同步]
    K --> L[重试或报错: timeout waiting for mons to reach quorum]
    

七、高级调试技巧与生产实践建议

对于具备 5 年以上经验的工程师，建议采用以下进阶手段：

• 使用 tcpdump 抓包分析 mon 节点间通信是否可达。
• 在节点上运行 strace -f -p $(pgrep ceph-mon) 跟踪系统调用，定位文件访问拒绝问题。
• 启用 Ceph 的 debug 日志级别，在 cluster.yaml 中设置：

spec:
  logging:
    level: DEBUG
    destination: stdout

此外，建议在生产环境中部署 Prometheus + Alertmanager 对 Ceph 集群健康状态进行实时监控，并设置针对 CrashLoopBackOff 和 PVC Pending 的告警规则。