ESXi 6.0主机存储状态异常如何排查硬件故障？

Question

某ESXi 6.0主机出现存储状态异常，表现为数据存储频繁离线、虚拟机I/O延迟高，甚至无法访问部分LUN。通过vSphere Web Client查看，发现“存储适配器”中HBA卡状态异常，部分路径显示为“非活动”或“待恢复”。已排除交换机与光纤连接问题。请问：如何通过ESXi命令行工具（如esxcli和vicfg-scsidevs）确认HBA卡硬件状态、检测多路径状态，并判断是否由HBA卡故障、驱动问题或物理链路损坏导致？同时应检查哪些日志条目（如vmkernel.log）以定位根本原因？

Answer 1

一、问题背景与初步判断

在vSphere环境中，ESXi 6.0主机出现存储状态异常，表现为数据存储频繁离线、虚拟机I/O延迟显著升高，甚至部分LUN无法访问。通过vSphere Web Client观察到“存储适配器”中HBA卡状态异常，多路径（Multipath）部分路径显示为“非活动”或“待恢复”。已确认交换机端口和光纤链路物理连接正常，排除了外部网络层面故障。

此类问题通常涉及以下三个核心维度：

1. HBA卡硬件健康状态
2. HBA驱动版本及兼容性
3. 底层多路径策略与物理链路稳定性

接下来将通过ESXi命令行工具深入排查，并结合日志分析定位根本原因。

二、使用esxcli检查HBA卡状态与SCSI设备信息

首先登录ESXi主机控制台或SSH终端，执行如下命令查看HBA卡基本信息：

# 列出所有HBA适配器
esxcli storage core adapter list

# 查看特定HBA的详细属性（如vmhba1）
esxcli storage core adapter hardware list -A vmhba1

# 检查SCSI设备及其路径状态
esxcli storage core path list | grep -E "Device|Status"

重点关注输出中的“Adapter Type”是否为预期的FC HBA型号（如QLogic或Emulex），以及各路径的“State”字段是否为active/standby而非failed/offline。

三、利用vicfg-scsidevs验证设备可见性与持久性

尽管esxcli功能强大，但vicfg-scsidevs作为传统CLI工具仍可用于跨版本兼容性检测：

# 列出所有SCSI设备
vicfg-scsidevs -l

# 显示设备持久性标识（用于识别LUN一致性）
vicfg-scsidevs -P

若某些LUN缺失或重复出现，可能表明HBA未能稳定注册设备，提示驱动或固件问题。

四、多路径状态深度分析

使用esxcli进一步分析多路径拓扑结构：

命令	用途说明
esxcli storage nmp path list	列出所有NMP路径及其状态、优先级、目标设备
esxcli storage core path reclaim --path=vmhba1:C0:T1:L2	尝试回收处于待恢复状态的路径
esxcli storage nmp get -d naa.60060e80...	查看指定LUN的当前NMP策略（如MRU、Fixed、RoundRobin）

若发现大量路径处于offlined或dead状态，需结合HBA类型检查其Failover策略配置。

五、HBA驱动与固件版本核查

运行以下命令获取驱动详情：

# 查询HBA驱动模块信息
esxcli software vib list | grep -i hba

# 查看内核模块参数（以qla2xxx为例）
esxcli system module parameters list -m qla2xxx

比对VMware Compatibility Guide中对应HBA型号的推荐驱动版本。过旧或不匹配的VIB可能导致间歇性链路中断。

六、关键日志文件分析：vmkernel.log中的线索

日志位置：/var/log/vmkernel.log

常用检索命令：

grep -i "scsi\|fcp\|lost\|reset\|error" /var/log/vmkernel.log | tail -50

典型错误模式包括：

• qla2xxx: Link down on port X — 表示HBA端口断开
• Lost device path for naa.xxxxx — 路径丢失事件
• SCSI command timeout — I/O超时，可能由链路拥塞或阵列响应慢引起
• Path state changed to Offlined — 多路径服务标记路径失效

graph TD
    A[存储异常] --> B{检查HBA硬件}
    B --> C[esxcli adapter list]
    B --> D[vicfg-scsidevs -l]
    C --> E[确认HBA在线]
    D --> F[设备是否完整]
    E --> G{多路径状态}
    F --> G
    G --> H[esxcli nmp path list]
    H --> I{路径是否活跃}
    I -->|是| J[检查vmkernel日志]
    I -->|否| K[驱动/固件升级?]
    J --> L[查找timeout/reset事件]
    L --> M[关联存储阵列日志]

七、综合诊断流程与建议操作顺序

1. 确认HBA卡在BIOS和ESXi中均被正确识别
2. 执行esxcli storage core adapter list验证HBA运行状态
3. 使用esxcli storage core path list识别非活动路径数量
4. 调用vicfg-scsidevs -l交叉验证设备列表一致性
5. 检查vmkernel.log中是否存在周期性Link Down事件
6. 核实HBA驱动版本是否符合VMware HCL要求
7. 考虑临时切换多路径策略至Round Robin测试稳定性
8. 联系存储厂商比对阵列端口统计信息
9. 如有必要，更换HBA卡进行A/B测试
10. 启用PSOD日志捕获机制以防宕机时丢失上下文

该流程覆盖从表层现象到底层硬件的全栈排查路径。