VMware虚拟机如何启用显卡直通？

Question

在使用VMware ESXi部署虚拟机时，用户常遇到“如何启用GPU直通（PCIe Passthrough）以提升图形性能”的问题。由于默认情况下ESXi不会自动开启显卡直通功能，需手动配置BIOS中的VT-d/AMD-Vi、启用ESXi主机的硬件直通选项，并将目标GPU标记为直通设备。常见问题包括：直通后虚拟机无法启动、驱动不识别、或宿主机丢失对GPU的控制。此外，多GPU环境下的设备隔离与兼容性也常引发故障。如何正确完成从BIOS设置到虚拟机加载的完整直通流程，成为实施过程中的关键技术难点。

Answer 1

VMware ESXi GPU直通（PCIe Passthrough）完整配置指南

1. 前置条件与硬件兼容性分析

在启用GPU直通前，必须确认以下几点：

• CPU支持IOMMU技术：Intel平台需支持VT-d，AMD平台需支持AMD-Vi。
• 主板BIOS支持并已开启IOMMU：通常位于Advanced → Northbridge或Advanced → CPU Configuration中。
• ESXi主机支持PCI设备直通：vSphere 6.5及以上版本均支持，但需手动启用。
• GPU设备兼容性：NVIDIA消费级显卡（如RTX系列）可能受驱动限制，建议使用专业卡（如Quadro、Tesla）或解锁Hypervisor检查的驱动。
• 多GPU环境下的ACS（Access Control Services）隔离：确保目标GPU独占PCIe Root Port，避免共享总线导致直通失败。

可通过如下命令检查CPU是否支持IOMMU：

# 在ESXi Shell中执行
grep -i dmar /var/log/vmkernel.log
# 若输出包含“DMAR: [Valid GMUX]”或类似信息，则IOMMU已启用
    

2. BIOS/UEFI层级配置流程

进入服务器或工作站BIOS设置界面，按以下步骤操作：

1. 启用Intel VT-d 或 AMD IOMMU（名称因厂商而异）。
2. 关闭Secure Boot（部分系统会阻止未签名驱动加载）。
3. 禁用集成显卡（iGPU），防止资源冲突。
4. 若存在SR-IOV选项，可保持关闭（除非用于特定虚拟化场景）。
5. 保存设置并重启进入ESXi安装系统。

常见主板厂商设置路径示例：

厂商	菜单路径	关键选项
ASUS	Advanced → Northbridge	PCIe Native Mode, Above 4G Decoding
Gigabyte	Settings → IO Ports	Intel VT-d, AMD IOMMU
Dell PowerEdge	iDRAC → BIOS Settings	Virtualization Technology, PCIe SMMU
Supermicro	Advanced → PCIe/PCI Subsystem	Enable ASPM, Above 4GB MMIO

3. ESXi主机层直通配置

登录vSphere Client或通过SSH连接至ESXi主机，执行以下步骤：

# 查看所有PCI设备
esxcli hardware pci list | grep -i "graphics\|vga"

# 输出示例：
# 0000:0b:00.0  Class 0300: Device 10de:1eb8  "NVIDIA Corporation" "TU104 [GeForce RTX 2080]"
    

获取目标GPU的PCI ID（如0000:0b:00.0），然后启用直通：

# 启用设备直通
esxcli system module parameters set -m nvidia-passthru -p "enable=TRUE"
esxcli hardware pci pcipassthru set -a -d 0000:0b:00.0 -e

# 验证状态
esxcli hardware pci pcipassthru get -d 0000:0b:00.0
# 应返回 "Passthru Enabled: true"
    

最后重启ESXi主机使配置生效。

4. 虚拟机配置与GPU绑定

在vCenter或本地ESXi UI中创建或编辑虚拟机：

• 虚拟机兼容性至少选择ESXi 6.7 and later。
• 添加新设备 → PCI Device，选择已标记为直通的GPU。
• 注意：一旦添加，该GPU将从ESXi主机移除，无法被其他VM或宿主机使用。
• 对于Windows虚拟机，安装对应GPU厂商驱动（如NVIDIA Studio或Data Center驱动）。

若出现“Error 43”（NVIDIA Hypervisor Detection），需在VMX文件中添加绕过指令：

# 编辑虚拟机.vmx文件，添加以下行
hypervisor.cpuid.v0 = "FALSE"
pciHole.start = "2000"
pciHole.end = "2FFF"
    

5. 故障排查与高级优化

常见问题及解决方案：

现象	可能原因	解决方法
VM启动报错“Device is busy”	GPU被宿主机驱动占用	确认未安装显卡驱动；检查vmkernel.log中占用模块
直通后宿主机无显示输出	独显接管显示且iGPU被禁用	使用IPMI/KVM远程管理接口操作
多GPU无法独立直通到不同VM	PCIe拓扑共享Root Port	使用lspci -tv分析拓扑，调整插槽位置
性能低于预期	NUMA节点跨CPU访问	将VM CPU绑定至与GPU同NUMA节点的Core
驱动无法识别GPU	Hypervisor标识被检测	修改VMX参数屏蔽hypervisor特征

6. 多GPU环境下的设备隔离与ACS补丁

当多个GPU位于同一PCIe Switch时，即使启用VT-d，也可能因缺乏ACS支持导致直通失败。此时需评估主板芯片组是否支持ACS override。

在某些定制ESXi镜像中可应用ACS补丁以强制隔离设备，流程如下：

# 加载内核模块时传递参数（需自定义ESXi镜像）
kernel /tboot.gz --- /vmkernel.gz clockwatch=0x20 \
  acs_override=downstream,multifunction
    

此操作存在风险，可能导致系统不稳定，仅建议在测试环境中使用。

7. 直通流程可视化（Mermaid流程图）

graph TD
            A[开启BIOS中VT-d/AMD-Vi] --> B[重启进入ESXi]
            B --> C[SSH登录并列出PCI设备]
            C --> D[标记GPU为直通设备]
            D --> E[重启ESXi主机]
            E --> F[在VM中添加PCI设备]
            F --> G[安装客户机驱动]
            G --> H[验证GPU性能与功能]
            H --> I[完成部署]

8. 性能验证与监控

部署完成后，应进行性能基准测试：

• 在Windows VM中运行3DMark Time Spy或Unigine Heaven。
• Linux VM可使用glxinfo | grep "OpenGL renderer"确认GPU调用。
• 通过vCenter性能图表监控PCIe带宽利用率。

同时查看ESXi日志以确认无IOMMU Fault：

# 检查IOMMU错误
tail -f /var/log/vmkernel.log | grep -i "iommu\|passthru"