vSphere HA如何检测虚拟机故障？

Question

vSphere HA如何通过心跳机制检测虚拟机故障？当虚拟机在指定时间内未返回正常的心跳信号，vSphere HA会判定其发生故障，并在集群中的其他主机上重新启动该虚拟机。但为何有时虚拟机出现“假死”或I/O挂起状态时，心跳仍可能持续发送，导致HA未能及时响应？这种情况下，如何结合主机心跳与虚拟机监控（VM Monitoring）功能，利用vmx-进程检查和客户操作系统心跳来提升故障检测准确性？

Answer 1

一、vSphere HA 心跳机制基础原理

vSphere High Availability（HA）是VMware vSphere平台中用于保障虚拟机业务连续性的核心组件。其核心功能依赖于“心跳机制”来判断主机和虚拟机的健康状态。

在vSphere HA集群中，每个ESXi主机都会定期向其他主机发送两种类型的心跳：

1. 管理网络心跳：通过vCenter Server管理网络传输，检测主机间通信是否正常。
2. 数据存储心跳：当管理网络中断时，主机通过共享存储上的特定文件（如.vmtx文件）写入时间戳作为“心跳信号”，避免误判为网络分区（Split-Brain）。

对于虚拟机层面，vSphere HA依赖VMware Tools提供的客户操作系统内部心跳。该心跳由运行在客户机中的vmtoolsd进程定期向宿主ESXi报告，表明操作系统仍在响应。

二、虚拟机“假死”场景下的心跳失效问题分析

尽管vSphere HA具备主机级故障检测能力，但在某些极端情况下，虚拟机可能进入“假死”或I/O挂起状态，表现为：

• 操作系统内核卡死但VMX进程仍在运行
• 磁盘I/O长时间阻塞导致应用无响应
• CPU资源耗尽，调度器无法执行vmtoolsd

此时，由于VMX进程未崩溃，宿主ESXi仍认为虚拟机处于运行状态；同时若vmtoolsd在卡顿前已发出心跳，且间隔尚未超时，默认30秒周期内不会触发告警，从而导致HA未能及时重启虚拟机。

三、增强型故障检测：结合VM Monitoring与多维心跳检查

为解决上述问题，vSphere提供了“虚拟机监控”（VM Monitoring）功能，可与HA协同工作，实现更细粒度的健康判断。其工作机制如下表所示：

检测维度	检测方式	触发条件	响应动作
主机心跳	网络/存储心跳丢失	连续5次未收到	主机故障，迁移所有VM
VMX进程检查	ESXi监控vmx进程状态	进程崩溃或无响应	重启虚拟机
客户OS心跳	VMware Tools上报	连续3次未更新	判定Guest OS故障
I/O挂起检测	监控虚拟磁盘队列延迟	超过设定阈值（默认120s）	标记为I/O僵死

四、配置建议与最佳实践

启用并优化VM Monitoring功能可显著提升故障识别准确率。具体配置路径如下：

编辑vSphere HA集群设置 → 启用“虚拟机监控”
→ 选择“完全禁用”、“仅主机心跳”或“完整VM监控”
→ 推荐设置为“完整VM监控”
→ 调整“VM心跳超时次数”为3（默认）
→ 配置“I/O统计信息超时”为120秒
    

此外，确保以下前提条件满足：

• 所有虚拟机安装并运行最新版VMware Tools
• 客户操作系统支持周期性心跳上报（Windows/Linux均支持）
• VMX进程权限正确，无资源争用
• 主机CPU/内存资源充足，避免调度延迟

五、流程图：vSphere HA与VM Monitoring协同检测逻辑

下图为虚拟机故障检测的整体决策流程：

graph TD
            A[开始检测] --> B{主机心跳正常?}
            B -- 否 --> C[触发主机级HA迁移]
            B -- 是 --> D{VMX进程运行?}
            D -- 否 --> E[重启虚拟机]
            D -- 是 --> F{客户OS心跳正常?}
            F -- 否 --> G[判定Guest故障, 重启VM]
            F -- 是 --> H{I/O队列是否超时?}
            H -- 是 --> I[标记为I/O挂起, 可配置响应]
            H -- 否 --> J[视为健康]

六、深度扩展：高级诊断与日志分析

在生产环境中，建议结合以下日志进行根因分析：

• /var/log/vmware/hostd.log：查看VMX进程状态与心跳记录
• vmkernel.log：搜索"HA"、"vmotion"、"I/O timeout"等关键字
• guest_vmtools.log：确认客户机内部vmtoolsd是否持续发送心跳

例如，可通过命令行提取最近的心跳事件：

grep -i "heartbeat" /var/log/vmware/hostd.log | tail -10
grep -i "vmx" /var/log/vmkernel.log | grep -i "hung"
    

若发现vmx process unresponsive但未自动重启，则需检查HA策略是否覆盖该类异常。