Oracle RAC私网多播失败导致节点驱逐，常见原因有哪些？

Question

Oracle RAC私网多播失败是引发节点驱逐（Node Eviction）的高频根因之一。常见原因包括：1）私网网卡未启用多播（如`ifconfig eth1 multicast`缺失或被禁用）；2）交换机端口未开启IGMP Snooping或PIM协议，导致多播包被丢弃；3）防火墙（如iptables、firewalld）拦截UDP 224.0.0.251等Oracle Clusterware多播地址及端口（如42422/42423）；4）私网MTU不一致（如一端为9000，另一端为1500），引发分片丢包与心跳超时；5）网卡驱动或固件缺陷（如某些Broadcom/Intel驱动对多播支持异常）；6）私网配置了多个子网或存在ARP冲突，干扰UDP多播组成员关系维护。需通过`oifcfg getif`、`tcpdump -i bond1 host 224.0.0.251`及`cvsscan`等工具交叉验证。多播失效将导致CSSD无法维持节点间心跳，最终触发强制驱逐以保障集群一致性。

Answer 1

```html

一、现象层：节点驱逐（Node Eviction）的直观征兆

• CRS日志中频繁出现ORA-29740: evicted from cluster due to lost heartbeat；
• Oracle告警日志（alert.log）记录Clusterware is terminating instance ... due to CSS misscount；
• crsctl check crs返回CRS-4638: Oracle High Availability Services is online但crsctl stat res -t显示ora.cssd为OFFLINE或反复重启；
• 节点间ping -I bond1 <other-node-ip>可达，但集群心跳持续丢失；
• 操作系统级无网络中断，ifconfig bond1显示UP/RUNNING且无RX/TX错误，易被误判为“网络正常”。

二、协议层：多播通信失效的本质机制

Oracle RAC私网依赖UDP多播（224.0.0.251:42422/42423）实现CSSD心跳同步。该机制严格遵循IGMPv2组播模型：

• CSSD进程通过setsockopt(...,IP_ADD_MEMBERSHIP,...)主动加入224.0.0.251组；
• 每秒发送HEARTBEAT_PACKET（含序列号、时间戳、节点ID），超时3次未收到任一节点响应即触发misscount递增；
• 当misscount ≥ misscount_threshold（默认=30，对应30秒）时，CSSD判定节点失联并发起驱逐仲裁。

三、根因层：六大高频故障维度深度剖析

序号	根因类别	典型表现	验证命令	修复要点
1	网卡多播禁用	ifconfig bond1 | grep -i multicast无输出或显示NO_MULTICAST	ifconfig bond1 multicast && ip link set bond1 up	需写入/etc/sysconfig/network-scripts/ifcfg-bond1的ETHTOOL_OPTS="multicast on"
2	交换机IGMP Snooping未启用	tcpdump -i bond1 host 224.0.0.251仅本端发包，无对端收包；交换机端口show igmp snooping groups为空	tcpdump -i bond1 -nn udp port 42422 or port 42423	在VLAN下全局启用IGMP Snooping，并配置igmp snooping querier（若无路由器）
3	防火墙拦截多播流量	iptables -L -n -v | grep 4242[23]显示DROP计数增长；firewall-cmd --list-all | grep 4242无放行规则	iptables -I INPUT -d 224.0.0.251/32 -p udp --dport 42422:42423 -j ACCEPT	必须同时放行224.0.0.251/32和224.0.0.0/4范围，避免IGMP报告被阻断

四、诊断层：交叉验证黄金工具链

单一工具易产生误判，须构建“配置–抓包–集群状态”三维印证：

1. oifcfg getif确认私网接口绑定正确（如bond1 192.168.10.0:cluster_interconnect）；
2. tcpdump -i bond1 -nn -c 100 'udp and (host 224.0.0.251) and (port 42422 or port 42423)'捕获双向多播流；
3. cvsscan -p输出各节点CSSD进程的multicast_group、heartbeat_interval及misscount实时值；
4. ethtool bond1 | grep -E "(MTU|Speed|Driver)"比对所有节点MTU与驱动版本一致性；
5. arp -n -i bond1 | wc -l检查ARP表条目是否异常膨胀（暗示子网冲突）。

五、架构层：防御性部署最佳实践

graph LR
A[私网规划] --> B[强制统一MTU=9000]
A --> C[专用VLAN隔离]
A --> D[禁用STP，启用PortFast]
B --> E[网卡驱动固化]
C --> F[交换机启用IGMP Snooping+Querier]
D --> G[物理链路双活bonding]
E --> H[固件升级至Oracle认证版本]
F --> I[防火墙白名单：224.0.0.251/32 + UDP 42422-42423]
G --> J[启用LACP协商，禁用静态bond]

六、演进层：从RAC 11g到19c的多播增强趋势

• RAC 12.2+引入cssdlog中MULTICAST_STATUS字段，可直接查看组播加入状态（JOINED/FAILED）；
• 19c默认启用UDP_FAST_PATH内核优化，要求驱动支持NETIF_F_HW_CSUM；
• Oracle建议在新部署中采用Unicast Heartbeat替代多播（需设置css_mods="unicast"），规避IGMP依赖；
• 但遗留系统迁移需注意：Unicast模式下cvsscan输出将不再显示multicast_group，而转为unicast_peers列表。

```