两台飞牛如何实现主备切换？

Question

在部署两台飞牛NAS实现主备切换时，常见的技术问题是：如何在主设备故障时自动、可靠地将服务流量切换至备用设备，同时避免脑裂（Split-Brain）现象？用户常面临心跳检测机制不稳定、IP漂移配置不当或数据同步延迟等问题，导致切换失败或数据不一致。此外，飞牛系统原生高可用支持有限，是否需依赖第三方工具（如Keepalived或脚本监控）实现故障检测与切换？如何确保文件共享服务（如SMB/NFS）在切换后能快速恢复且不中断客户端连接？这些问题直接影响主备切换的实效性与数据安全性。

Answer 1

一、主备切换架构设计中的核心挑战与背景分析

在部署两台飞牛NAS实现高可用性（HA）主备切换时，首要目标是确保服务的连续性和数据一致性。由于飞牛系统目前原生对高可用支持较为有限，无法像企业级存储系统（如NetApp或TrueNAS Scale）那样提供内置的集群文件系统和自动故障转移机制，因此必须依赖外部工具与定制化脚本完成高可用架构搭建。

常见的技术痛点包括：

• 心跳检测不稳定导致误判主节点宕机
• 虚拟IP（VIP）漂移失败或延迟过高
• 数据同步存在延迟，引发脑裂风险
• SMB/NFS客户端连接中断且难以自动重连
• 缺乏共享存储机制，双活模式不可行

这些问题直接影响系统的可靠性与用户体验，尤其在关键业务场景中可能导致数据丢失或服务长时间不可用。

二、从浅入深：主备切换的技术层级演进

1. 基础层 - 双机部署与手动切换：初期用户仅通过定时rsync同步数据，并在主设备故障后手动启用备用设备。此方式无自动化能力，RTO（恢复时间目标）通常超过30分钟。
2. 进阶层 - 心跳检测 + 虚拟IP漂移：引入Keepalived或自定义脚本监控主节点状态，结合ARP广播实现VIP迁移，缩短RTO至1~3分钟。
3. 高级层 - 数据强一致性保障：使用DRBD或实时块级复制技术替代文件级同步，减少数据丢失窗口。
4. 专家层 - 多路径仲裁防脑裂：部署独立的心跳链路（如串口、管理网卡）、第三方仲裁节点（Quorum Server），甚至利用云API作为“见证者”判断集群状态。

三、关键技术问题剖析与解决方案矩阵

问题类别	具体表现	根本原因	推荐解决方案
心跳检测不稳定	网络抖动误触发切换	单一检测路径、阈值设置不合理	多路径心跳（内网+外网+串口）、调整failover超时参数
IP漂移异常	VIP未生效或冲突	ARP缓存未刷新、子网限制	发送GARP包、配置switch port fast forwarding
数据同步延迟	切换后文件缺失	rsync周期长、大文件写入未完成	采用inotify + rsync增量同步或DRBD块复制
脑裂（Split-Brain）	双主同时提供服务	网络分区导致互不可达但各自存活	引入仲裁机制（如第三方ping节点、STONITH策略）
SMB/NFS连接中断	客户端需手动重新挂载	TCP会话未保持、DNS/VIP更新滞后	配合Keepalived发送GARP、使用负载均衡前端代理

四、典型高可用架构实现方案

以下为基于Keepalived + inotify + rsync构建的飞牛NAS主备切换架构流程图：

# 示例 Keepalived 配置片段（主节点）
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.100/24 dev eth0 label eth0:0
    }
    track_script {
        chk_nas_sync
    }
}
    

五、架构流程可视化：主备切换决策逻辑

graph TD A[主节点运行正常] --> B{健康检查通过?} B -- 是 --> C[维持VIP持有权] B -- 否 --> D[停止服务并释放VIP] D --> E[备节点检测到VIP丢失] E --> F{自身健康且优先级高?} F -- 是 --> G[接管VIP并启动SMB/NFS服务] F -- 否 --> H[等待或进入待命状态] G --> I[客户端流量自动导向备节点] I --> J[触发数据一致性校验]

六、防止脑裂的核心策略与实践建议

脑裂是主备系统中最危险的状态之一，表现为两个节点都认为自己是主节点并同时对外提供写服务，最终造成数据混乱。防范措施包括：

• 双心跳通道：除了业务网络外，增加专用心跳线或管理接口通信。
• 外部仲裁机制：设置一个位于独立网络的“投票机”，当双方失联时向其发送心跳请求，得票多者胜出。
• STONITH（Shoot The Other Node In The Head）：通过IPMI/iDRAC远程断电对方节点，确保唯一活动节点。
• 资源锁定脚本：在启动服务前尝试获取共享锁（如NFS上创建flag文件），失败则拒绝激活。

七、文件服务无缝切换的关键优化点

为确保SMB/NFS在切换后快速恢复，应关注以下几个方面：

1. 使用虚拟IP作为客户端访问入口，避免依赖主机名解析变化。
2. 在VIP切换后主动发送GARP（Gratuitous ARP）报文，刷新交换机和客户端ARP缓存。
3. 预加载Samba服务配置，减少服务启动时间。
4. 对NFS导出目录使用exportfs -r快速重载，而非重启nfs-kernel-server。
5. 在客户端启用soft mount选项或autofs自动重挂载机制。
6. 监控文件句柄状态，避免因旧连接残留导致权限异常。
7. 日志集中收集（如ELK），便于故障回溯与行为审计。
8. 定期演练切换流程，验证RTO与RPO是否达标。
9. 结合Zabbix/Prometheus监控心跳延迟、同步延迟等关键指标。
10. 将切换脚本版本化管理，纳入CI/CD流程进行测试。