EasyTier Relay(2)如何配置双机热备？

Question

在部署EasyTier Relay(2)时，如何通过双机热备保障消息转发的高可用性？常见的问题是：两台中继节点间的状态同步机制如何配置？是否支持自动故障切换？心跳检测间隔与超时时间应如何设置以避免脑裂？同时，在主备切换过程中如何确保消息不丢失、不重复？需结合Keepalived或集群管理工具实现VIP漂移时，网络策略与服务健康检查应如何协同工作？

Answer 1

一、双机热备架构在EasyTier Relay(2)中的核心价值

在高可用消息转发系统中，EasyTier Relay(2)作为关键的中间件组件，承担着跨网络域的消息桥接与转发任务。为保障其服务连续性，部署双机热备（Active-Standby High Availability）成为标准实践。

双机热备通过主节点处理流量、备用节点实时待命的方式，实现故障时快速接管。其核心目标是：零中断服务、消息不丢失、不重复投递、避免脑裂。

1.1 高可用性的基础：主备模式与状态同步机制

EasyTier Relay(2)本身不内置集群状态同步功能，因此需依赖外部机制实现节点间状态一致性。常见方案如下：

• 共享存储：主备节点挂载同一块分布式存储（如NFS、GlusterFS），配置文件与运行时状态（如offset记录）集中管理。
• 数据库同步：将消息确认状态写入外部数据库（如PostgreSQL、MySQL），主备通过查询数据库判断消费进度。
• 消息队列持久化：利用Kafka或RabbitMQ的持久化能力，确保未确认消息可被重新消费。

同步方式	延迟	复杂度	适用场景
共享存储	低	中	局域网内双机部署
数据库同步	中	高	跨数据中心容灾
消息队列重放	高	低	允许短暂延迟的场景

1.2 自动故障切换机制设计

EasyTier Relay(2)支持与外部HA工具集成以实现自动故障切换。主流选择包括Keepalived、Pacemaker、Corosync等。

以Keepalived为例，其通过VRRP协议实现虚拟IP（VIP）漂移，当主节点心跳超时后，备用节点自动接管VIP并启动Relay服务。

        
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.100/24
    }
    track_script {
        chk_relay
    }
}
        
    

1.3 心跳检测与脑裂规避策略

脑裂（Split-Brain）是双机热备中最危险的问题——主备同时认为对方宕机而争抢资源，导致数据冲突。

为避免脑裂，需合理设置以下参数：

1. 心跳间隔（advert_int）：建议设为1秒，平衡响应速度与网络抖动容忍度。
2. 超时时间（down after retry）：通常为3~5次心跳失败后判定宕机。
3. 仲裁机制：引入第三方仲裁节点或使用STONITH（Shoot The Other Node In The Head）技术强制关断对端。
4. 网络隔离检测：结合BFD（Bidirectional Forwarding Detection）提升链路感知精度。

1.4 消息可靠性保障：不丢失、不重复

在主备切换过程中，消息完整性是关键挑战。解决方案分为三个层次：

• 发送端幂等性：客户端对每条消息生成唯一ID，接收方去重处理。
• 持久化确认机制：EasyTier Relay(2)需开启ACK持久化，确保已处理消息状态不因宕机丢失。
• 事务日志回放：使用WAL（Write-Ahead Log）记录操作，在重启后恢复至一致状态。

graph TD
            A[客户端发送消息] --> B{主节点是否存活?}
            B -- 是 --> C[主节点处理并持久化ACK]
            B -- 否 --> D[Keepalived触发VIP漂移]
            D --> E[备节点接管并加载共享状态]
            E --> F[继续消费未完成消息]
            C --> G[返回ACK给客户端]
            F --> G

1.5 VIP漂移与服务健康检查协同机制

Keepalived的track_script用于监控EasyTier Relay(2)进程和服务健康状态。

自定义健康检查脚本示例如下：

        
#!/bin/bash
# chk_relay.sh
if systemctl is-active --quiet easytier-relay; then
    if ss -tlnp | grep :8080 > /dev/null; then
        exit 0
    fi
fi
exit 1
        
    

该脚本检查服务进程和监听端口，若任一异常则退出非0码，触发Keepalived降级并启动备机接管。

此外，防火墙策略应允许VRRP组播通信（协议号112），并在云环境中启用弹性IP绑定API调用替代传统VIP。

结合Prometheus + Alertmanager可实现更细粒度的服务指标监控（如消息堆积量、GC频率），联动自动化运维平台执行预判式切换。