ESXi如何检测硬盘是否出现故障？

Question

在ESXi主机运行过程中，如何通过内置工具检测本地SATA或SAS硬盘是否出现潜在故障？常见问题表现为存储性能下降、虚拟机I/O延迟增加或频繁的“device latency high”告警。管理员应如何利用vSphere Client、esxcli storage命令或查看/var/log/vmkernel.log日志中的SCSI设备错误（如“lost device”或“device not responding”），结合硬盘SMART状态判断物理磁盘健康状况？同时，ESXi原生不支持所有硬盘的SMART信息读取，该如何借助第三方工具（如smartctl via ESXi Shell）实现有效监控与预警？

Answer 1

一、从现象识别潜在硬盘故障：性能下降与I/O延迟的初步判断

在ESXi主机运行过程中，本地SATA或SAS硬盘出现潜在故障时，最直观的表现是存储性能显著下降。管理员常会观察到虚拟机I/O响应时间变长，甚至出现“device latency high”告警。这类问题通常出现在vSphere Client的性能监控图表中，尤其是在“Storage”选项卡下的“Kernel Latency”或“Device Latency”指标持续高于50ms时，应引起高度重视。

此外，频繁的I/O超时（I/O timeout）和虚拟机无响应也可能指向底层物理磁盘存在问题。此时需结合vSphere Client中的事件日志进行交叉验证，查找是否有SCSI相关错误记录。

二、利用vSphere Client定位存储异常

• 步骤1： 登录vSphere Client，导航至目标ESXi主机 → “Monitor” → “Logs”
• 步骤2： 查看系统日志，筛选关键词如“lost device”、“device not responding”、“reset SCSI”等
• 步骤3： 在“Performance”面板中启用高级统计，关注Datastore的读写延迟趋势
• 步骤4： 检查“Hardware Status”页签，确认是否有磁盘状态标记为“Degraded”或“Predictive Failure”

部分OEM厂商（如Dell、HPE）通过定制化VIB驱动支持硬件健康状态上报，可在Client中直接查看物理磁盘SMART预警信息。

三、深入分析esxcli storage命令输出

通过SSH接入ESXi Shell后，使用esxcli工具可获取更详细的存储设备信息：

# 列出所有本地存储设备
esxcli storage core device list

# 查看特定设备的路径状态
esxcli storage core path list -d naa.600xxxxxx

# 检查设备延迟统计数据
esxcli storage core device stats get -d naa.600xxxxxx

重点关注输出中的以下字段：

字段名	含义	风险阈值
Path Count	多路径数量	<2 可能存在链路问题
Adapter	控制器类型	确认是否为直通模式（RAID卡禁用）
Queue Depth	队列深度	过高可能导致拥塞
Latency (Kernel/Device)	内核与设备层延迟	>50ms 需排查
Status	设备状态	非“online”需立即处理

四、解析/var/log/vmkernel.log中的SCSI错误模式

ESXi的核心日志文件位于/var/log/vmkernel.log，可通过grep过滤关键错误：

grep -i "scsi\|timeout\|lost\|respond" /var/log/vmkernel.log | tail -50

典型错误示例如下：

1. scsi: vmkernel(XXXXX) : Lost device due to non-response
2. WARNING: ScsiDeviceIO: ... Timeout processing command
3. Resetting HBA due to excessive retries
4. No more logical units for target

这些日志表明HBA卡或磁盘本身可能已无法正常通信，建议结合硬件诊断进一步确认。

五、ESXi原生限制与SMART信息获取挑战

尽管现代SATA/SAS硬盘普遍支持SMART（Self-Monitoring, Analysis and Reporting Technology），但ESXi原生并不提供统一接口读取所有品牌硬盘的SMART数据。主要原因包括：

• VMkernel未内置通用SMART驱动
• 多数RAID控制器抽象了物理磁盘，屏蔽原始命令通道
• 直连JBOD模式下部分芯片组仍不兼容标准ATA PASS-THROUGH指令

因此，依赖vSphere原生功能难以实现全面的磁盘健康监控。

六、借助第三方工具smartctl实现物理磁盘健康监控

通过社区维护的smartmontools VIB扩展包，可在ESXi中启用smartctl命令行工具：

# 安装smartmontools VIB（需启用ESXi Shell）
esxcli software vib install -v https://example.com/smartmontools.vib --no-sig-check

# 扫描可用设备
/opt/smartmontools/bin/smartctl --scan

# 查询指定设备SMART状态
/opt/smartmontools/bin/smartctl -a /dev/disks/naa.600xxxxxx

输出将包含：

• Power_On_Hours（通电时间）
• Reallocated_Sector_Ct（重映射扇区数）
• Pending_Sector（待映射扇区）
• UDMA_CRC_Error_Count（传输错误计数）
• Overall SMART status（整体健康状态）

七、构建自动化监控与预警机制

为实现持续监控，可编写脚本定期执行smartctl并发送告警：

#!/bin/sh
DEVICES=$(smartctl --scan | awk '{print $1}')
for dev in $DEVICES; do
  STATUS=$(smartctl -H $dev | grep "test result" | awk '{print $6}')
  if [ "$STATUS" != "PASSED" ]; then
    logger "CRITICAL: SMART failure on $dev"
    # 可集成邮件或SNMP trap通知
  fi
done

配合cron定时任务（如每6小时运行一次），形成闭环预警体系。

八、综合诊断流程图（Mermaid格式）

graph TD
  A[虚拟机I/O延迟升高] --> B{检查vSphere Client性能图表}
  B -->|Latency > 50ms| C[查看vmkernel.log错误]
  C --> D["lost device" or "not responding"?]
  D -->|Yes| E[使用esxcli storage core path list]
  D -->|No| F[运行smartctl检测SMART状态]
  E --> G[路径是否全部Active?]
  G -->|No| H[检查HBA/背板连接]
  F --> I[Overall Health Passed?]
  I -->|No| J[标记磁盘待更换]
  J --> K[生成工单并通知运维]