小主机PVE虚拟机网卡直通失败如何解决？

Question

在使用小主机部署Proxmox VE（PVE）时，常遇到网卡直通（PCIe Passthrough）失败的问题。典型表现为：虚拟机无法识别直通的物理网卡，或启动时报错“Device is already in use”。此问题多因未正确启用IOMMU、BIOS中VT-d/AMD-Vi未开启、或网卡驱动被宿主机占用所致。此外，部分小主机电阻焊死B250/Kaby Lake等芯片组不支持DMA重映射，亦会导致直通失败。需检查内核参数是否配置`intel_iommu=on`（Intel）或`amd_iommu=on`（AMD），并通过`lspci -v`确认设备可被安全解绑。常见解决方法包括加载`vfio-pci`驱动、正确绑定设备至VFIO模块，并确保PVE版本支持对应硬件。

Answer 1

一、网卡直通（PCIe Passthrough）基础概念与典型问题

在使用小主机部署Proxmox VE（PVE）时，网卡直通是一种常见的需求，尤其适用于需要高性能网络隔离或运行软路由虚拟机的场景。然而，用户常遇到“设备无法识别”或“Device is already in use”的报错。

这类问题的根本原因通常包括：

• IOMMU未启用
• BIOS中VT-d（Intel）或AMD-Vi未开启
• 宿主机内核已加载原生驱动占用设备
• 芯片组不支持DMA重映射（如B250主板焊死电阻导致VT-d失效）
• VFIO模块未正确绑定设备

二、硬件层检查：从BIOS到芯片组兼容性

首先需确认硬件是否支持IOMMU技术。对于Intel平台，必须启用VT-d；AMD平台则需开启AMD-Vi。

芯片组	是否支持VT-d	常见问题
H110	否	完全不支持DMA重映射
B250	部分	电阻焊死导致VT-d被禁用
Z370	是	需手动开启VT-d
X570	是	默认开启AMD-Vi
B550	是	建议更新BIOS以确保稳定

三、系统级配置：内核参数与IOMMU启用验证

在PVE启动时，必须通过GRUB传递正确的内核参数来激活IOMMU功能。

# 编辑 /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
# 或 AMD 平台：
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

更新后执行：

update-grub && reboot

重启后验证IOMMU是否启用：

dmesg | grep -i iommu

预期输出应包含：

DMAR: IOMMU enabled

四、设备状态分析：lspci 与驱动占用检测

使用以下命令查看目标网卡的详细信息：

lspci -nnv | grep -i ethernet

重点关注Kernel driver in use字段。若显示e1000e、r8169等，说明宿主机已占用该设备，无法直通。

解决方案是将设备解绑并交由vfio-pci驱动接管。

五、VFIO驱动绑定流程详解

1. 确定设备ID（如 02:00.0）和Vendor:Device ID（如 8086:15b7）
2. 编辑/etc/modprobe.d/vfio.conf，添加：

options vfio-pci ids=8086:15b7
softdep e1000e pre: vfio-pci
softdep r8169 pre: vfio-pci

然后在/etc/modules中确保加载必要模块：

vfio
vfio_pci
vfio_iommu_type1
vfio_virqfd

六、高级诊断：ACS补丁与ACS Override应用

某些小主机存在ACS（Access Control Services）缺陷，导致多个设备处于同一IOMMU组，无法单独直通。

可通过加载ACS override补丁绕过限制（仅限测试环境）：

kernel parameter: pcie_acs_override=downstream,multifunction

再通过以下命令检查IOMMU组：

for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'Group %s ' "$n"; lspci -nns "${d##*/}"; done;

七、Proxmox Web界面配置与虚拟机设置

在PVE Web界面中创建虚拟机时，选择“System > Assignable Devices”，将目标网卡添加至VM。

注意：若设备未出现在列表中，说明VFIO未成功绑定。

也可手动编辑VM配置文件（/etc/pve/qemu-server/VMID.conf）：

hostpci0: 02:00.0,pcie=1,x-vga=off
# 若为多功能设备，需指定function
# hostpci0: 02:00.0;02:00.1,pcie=1

八、故障排查流程图（Mermaid格式）

graph TD
    A[启动失败或设备不可见] --> B{BIOS中VT-d/AMD-Vi开启？}
    B -- 否 --> C[进入BIOS启用VT-d]
    B -- 是 --> D[检查内核参数intel_iommu=on/amd_iommu=on]
    D --> E[reboot并dmesg|grep iommu验证]
    E --> F[lspci -nnv查看驱动占用]
    F --> G{有驱动占用？}
    G -- 是 --> H[配置vfio-pci绑定]
    G -- 否 --> I[直接尝试直通]
    H --> I
    I --> J[启动VM观察结果]
    J --> K{成功？}
    K -- 否 --> L[检查IOMMU组分离情况]
    L --> M[考虑ACS补丁或更换主板]
    K -- 是 --> N[完成]
    

九、长期维护建议与版本兼容性考量

PVE版本对硬件支持影响显著。建议使用PVE 7.4+或PVE 8.x系列，其对现代网卡和IOMMU的支持更完善。

定期更新固件与PVE内核可避免已知VFIO兼容性问题。

对于企业级部署，推荐选用支持完整VT-d的商用主板（如ASRock Rack、Supermicro）而非消费级小主机。

记录每次变更的内核参数与模块配置，便于回溯。

使用脚本自动化检测流程：

#!/bin/bash
echo "=== Checking IOMMU Status ==="
dmesg | grep -i iommu | grep -q "enabled" && echo "✅ IOMMU Enabled" || echo "❌ Not Enabled"
echo "=== Checking VFIO Modules ==="
lsmod | grep vfio > /dev/null && echo "✅ VFIO Loaded" || echo "❌ VFIO Not Loaded"