Oracle RAC中节点间心跳超时常见原因有哪些？

Question

在Oracle RAC环境中，节点间心跳超时（如CSS misscount触发驱逐）是导致节点重启的常见故障。常见原因包括：1）私网（Private Interconnect）配置不当——如未禁用私网网卡的TCP/IP协议栈、未关闭防火墙或SELinux、MTU不一致；2）网络设备问题——交换机端口拥塞、STP阻塞、双工/速率不匹配、网线老化或光纤衰减；3）系统资源争用——高CPU负载、内存压力或I/O瓶颈导致CSSD进程调度延迟；4）时间不同步（NTP未启用或漂移过大），影响集群时间一致性；5）OCR/Voting Disk访问异常（如ASM磁盘组IO延迟过高）间接拖慢CSS心跳响应。需通过`oifcfg getif`、`cvssadmdump`、`ping -s `及`/var/log/messages`综合排查。预防关键在于私网专用、全链路冗余、严格时钟同步与定期健康检查。

Answer 1

```html

一、现象识别：从节点重启日志初判CSS心跳异常

当RAC节点意外重启，首要检查/var/log/messages中含cssd、misscount、eviction或rebooting node的关键字。典型日志片段：

Oct 12 03:45:22 node1 cssd[12345]: WARNING: Missing heartbeat from node node2 for 60 seconds

CSS（Cluster Synchronization Services）依赖私网持续发送/接收心跳包，超时达misscount × disktimeout（默认misscount=60s）即触发驱逐。此阶段不涉及业务SQL，但已暴露底层协同机制断裂。

二、配置核查：私网协议栈与系统策略合规性验证

执行以下命令确认私网配置基线：

• oifcfg getif —— 验证私网接口是否被正确标记为cluster_interconnect，且未混用公网IP
• ethtool eth1 —— 检查双工模式（Duplex: Full）、速率（统一为10G/25G）、自动协商（Auto-negotiation: off推荐）
• sysctl net.ipv4.conf.eth1.arp_ignore —— 私网网卡必须禁用ARP响应（值应为1）
• systemctl is-active firewalld && sestatus —— 防火墙与SELinux必须disabled

MTU一致性需全链路验证（主机→交换机→对端主机），建议统一设为9000（Jumbo Frame），避免分片丢包。

三、网络层诊断：交换机与物理链路深度检测

构建如下诊断矩阵：

检测项	命令/工具	合格阈值
端到端延迟抖动	ping -s 8972 -c 100 node2-priv	平均延迟<1ms，抖动<0.3ms
STP状态	show spanning-tree interface port-channel1（交换机CLI）	应为forwarding，非blocking或learning
光模块衰减	ethtool -m eth1（支持SFP+的网卡）	TX/RX功率在厂商标称范围内（如-8.2dBm ±3dB）

四、系统资源与时间同步联合分析

CSSD是实时优先级进程（chrt -r 99），其调度延迟直接受系统负载影响。需交叉验证：

• vmstat 1 10：观察r（运行队列）是否持续>CPU核数×2，wa是否>20%（I/O阻塞）
• ntpq -p && chronyc tracking：NTP偏移量必须<50ms，最大偏差<100ms；建议使用chrony替代ntpd以适应虚拟化环境
• cvssadmdump -g：提取CSSD内部计时器快照，重点关注last_heartbeat_time与current_time差值

五、存储路径穿透：OCR/Voting Disk IO对CSS的隐式影响

虽CSS心跳不直接读写OCR，但CSSD启动时需校验Voting Disk健康度，且定期刷新disk heartbeat。当ASM磁盘组IO延迟升高：

# 检测ASM IO延迟（单位：ms）
$ asmcmd afd_lsdsk -v | grep -i "io_time\|latency"
# 查看CSSD trace中的IO等待
$ cd $ORACLE_HOME/log/<node>/cssd/ && grep -i "io_wait\|timeout" alert*.log

若asm_iostat显示平均IO等待>20ms，或crsctl stat res -t中ora.asm状态频繁flapping，则需排查存储子系统（HBA队列深度、多路径策略、存储阵列缓存命中率）。

六、根因定位流程图（Mermaid）

graph TD
  A[节点重启] --> B{/var/log/messages含CSS misscount?}
  B -->|Yes| C[oifcfg getif确认私网绑定]
  B -->|No| D[检查CRSD/OHASD日志]
  C --> E[ping -s 8972测试私网MTU连通性]
  E --> F{丢包率>0.1%或抖动>0.5ms?}
  F -->|Yes| G[检查交换机端口统计/光衰]
  F -->|No| H[chronyc tracking验证NTP漂移]
  H --> I{偏移>100ms?}
  I -->|Yes| J[启用chrony并配置burst]
  I -->|No| K[cvssadmdump -g分析CSSD内部时钟]

七、预防性加固清单

1. 私网物理隔离：专用交换机+VLAN，禁止与管理网/业务网共用PHY
2. 全链路冗余：双私网接口绑定（bond mode=active-backup）+ 双交换机堆叠
3. 自动化巡检：每日执行crsctl check cluster -all && ocrcheck && asmcmd lsdg并邮件告警
4. 内核参数固化：net.core.rmem_max=26214400, vm.swappiness=1, kernel.sched_migration_cost_ns=5000000
5. 建立CSSD性能基线：采集正常时段cvssadmdump -g输出，对比异常时偏差

```