ESXi嵌套部署FusionCompute蓝屏问题

Question

在ESXi嵌套部署华为FusionCompute时，常见蓝屏问题源于虚拟化层资源模拟不完整或CPU指令集兼容性异常。典型表现为：当FusionCompute的CNA主机作为虚拟机运行于ESXi上时，若未正确启用硬件辅助虚拟化（如Intel VT-x/AMD-V透传），或vCPU类型模拟不支持特定指令，会导致内核级异常触发BSOD（如INACCESSIBLE_BOOT_DEVICE）。此外，内存预留不足、VMXNET3网卡驱动冲突及存储控制器类型配置不当亦可诱发蓝屏。该问题多出现在测试环境中，需精细调整ESXi主机的BIOS设置、虚拟机配置参数（如vhc.enable = TRUE）与FusionCompute版本匹配，方可稳定运行。

Answer 1

一、问题背景与现象描述

在企业测试或研发环境中，常需在VMware ESXi上嵌套部署华为FusionCompute平台，以实现多层级虚拟化架构的验证。然而，在此过程中频繁出现蓝屏（BSOD）问题，典型错误码包括INACCESSIBLE_BOOT_DEVICE、KERNEL_SECURITY_CHECK_FAILURE等。

根本原因通常归结于虚拟化资源模拟不完整，尤其是CPU指令集兼容性异常、硬件辅助虚拟化未透传、内存资源配置不当等因素。当FusionCompute的CNA（Computing Node Agent）主机以虚拟机形式运行于ESXi之上时，其底层依赖的硬件特性若未能真实暴露，将导致内核级异常。

二、常见故障触发点分析

• CPU虚拟化支持缺失：ESXi主机BIOS中未启用Intel VT-x/AMD-V或嵌套虚拟化（Nested Virtualization）功能。
• vCPU类型不匹配：虚拟机配置使用了不支持特定指令集（如POPCNT、SSE4.1）的vCPU模型（如86x-generic）。
• 内存预留不足：FusionCompute CNA对内存要求较高，未设置足够内存预留（Reservation）可能导致启动阶段内存争用。
• 网卡驱动冲突：使用VMXNET3网卡但缺乏对应驱动支持或存在兼容性问题。
• 存储控制器类型不当：采用LSI Logic SAS或BusLogic控制器而非ParaVirtual SCSI（PVSCSI），影响I/O性能与稳定性。

三、深入排查流程图

    graph TD
        A[发生蓝屏] --> B{检查错误代码}
        B -->|INACCESSIBLE_BOOT_DEVICE| C[确认磁盘控制器类型]
        B -->|KERNEL_ERROR| D[检查CPU指令集支持]
        C --> E[更改为PVSCSI控制器]
        D --> F[启用vhc.enable = TRUE]
        F --> G[验证ESXi BIOS开启VT-x/AMD-V]
        G --> H[调整vCPU型号为host-model或host-passthrough]
        H --> I[增加内存预留至8GB以上]
        I --> J[更换网卡为E1000或安装VMXNET3驱动]
        J --> K[重启并监控日志]
    

四、关键配置参数与优化建议

配置项	推荐值	说明
BIOS设置	Intel VT-x + EPT, AMD-V + RVI	必须在物理主机BIOS中启用
ESXi高级参数	vhc.enable = TRUE	允许嵌套Hypervisor识别虚拟化标志位
vCPU模式	host-model 或 host-passthrough	确保传递完整的CPU特性给CNA VM
内存配置	≥8GB，预留100%	避免因内存压缩或共享引发OOM
网络适配器	E1000（兼容模式）或VMXNET3+驱动注入	规避VMXNET3默认无驱动问题
SCSI控制器	PVSCSI	提供最佳I/O吞吐与低CPU开销
Firmware	BIOS	UEFI可能引发签名驱动加载问题
虚拟机版本	Hardware Version 15+	支持更多现代指令集模拟
电源策略	High Performance	防止CPU频率动态降频影响调度
时间同步	禁用VMware Tools时间同步	避免与FusionCompute NTP服务冲突

五、解决方案实施步骤

1. 进入ESXi宿主机BIOS，启用Intel VT-x/AMD-V及Virtualization Technology for Directed I/O (VT-d)。
2. 通过SSH登录ESXi主机，执行命令：esxcli system settings kernel set -s vhc.enable -v TRUE。
3. 编辑CNA虚拟机设置，将CPU分配模式设为“host-passthrough”。
4. 移除原有硬盘并重新添加，选择“PVSCSI”作为控制器类型。
5. 将网络适配器临时更换为E1000以便完成系统引导。
6. 为虚拟机配置至少8GB内存，并在资源池中设置内存预留为“全部”。
7. 升级虚拟硬件版本至v15或更高，确保支持AVX2、POPCNT等指令集。
8. 在FusionCompute ISO预安装阶段，手动注入VMware Tools中的VMXNET3驱动。
9. 关闭不必要的设备如声卡、USB控制器，减少攻击面与资源干扰。
10. 启动后通过cat /proc/cpuinfo | grep flags验证CPU标志完整性。

六、日志分析与持续监控

可通过以下路径获取诊断信息：

    /var/log/vmkernel.log     # 查看CPU/MMU相关虚拟化事件
    /var/log/vmkwarning.log   # 检测资源争用警告
    /var/log/hostd.log        # 虚拟机生命周期操作记录
    CNA内部：C:\Windows\Minidump\*.dmp 分析蓝屏转储文件
    

建议使用WinDbg工具加载dump文件，执行!analyze -v定位具体失败模块。重点关注是否由ntoskrnl.exe、storport.sys或第三方驱动引发异常。