PVE加显卡后网卡丢失或无法识别

Question

在Proxmox VE（PVE）系统中添加独立显卡进行直通后，部分用户遇到主板集成网卡丢失或无法识别的问题。该现象通常由PCIe设备争用、BIOS/UEFI设置不当或IOMMU组配置错误引发。显卡插入可能导致其他PCIe设备重新枚举，引发网卡驱动加载失败或设备被屏蔽。同时，启用VFIO驱动可能使原本由内核模块（如`r8169`）驱动的网卡脱离控制。如何在确保显卡成功直通的同时，保持网卡稳定识别与正常工作，成为PVE虚拟化部署中的典型兼容性难题。

Answer 1

Proxmox VE中显卡直通导致集成网卡丢失的深度分析与解决方案

1. 问题背景与现象描述

在Proxmox VE（PVE）环境中，GPU直通（PCIe Passthrough）是实现高性能虚拟机图形处理的关键技术。然而，部分用户在将独立显卡插入主板并启用VFIO驱动进行直通后，发现原本正常工作的主板集成网卡（如Realtek r8169、Intel I211等）突然无法识别或完全消失。

该问题并非硬件损坏，而是由系统级资源分配机制引发的兼容性冲突，主要涉及以下三个方面：

• PCIe设备争用与总线重新枚举
• BIOS/UEFI配置不当导致IOMMU域划分异常
• VFIO驱动抢占内核模块控制权（如r8169）

2. 根本原因剖析

当GPU被插入PCIe插槽时，系统的ACPI表和PCIe拓扑结构发生变化，可能导致以下连锁反应：

1. BIOS重新分配PCIe链路带宽，改变设备挂载顺序
2. IOMMU组（IOMMU Group）发生重组，使原本独立的设备被迫共组
3. 内核启动阶段加载vfio-pci驱动过早，接管了本应由r8169等原生驱动管理的设备
4. 系统误判某些设备为“可透传”，从而屏蔽其主机访问权限

3. 分析流程图：故障诊断路径

```mermaid
graph TD
    A[网卡丢失] --> B{检查lspci是否可见}
    B -- 不可见 --> C[检查BIOS PCIe设置]
    B -- 可见但无驱动 --> D[查看dmesg日志]
    D --> E[确认是否被vfio-pci绑定]
    E --> F[检查/etc/modprobe.d/vfio.conf]
    F --> G[验证IOMMU组隔离情况]
    G --> H[调整驱动加载优先级]
    H --> I[重启验证]
```
    

4. 关键排查命令与输出示例

命令	用途说明
lspci | grep -i ethernet	确认网卡物理存在
dmesg | grep -i vfio	查看VFIO是否错误绑定设备
cat /proc/cmdline	检查内核参数是否启用iommu
find /sys/kernel/iommu_groups/ -type l	列出所有IOMMU组成员
ethtool -i enpXsY	查看当前网卡驱动信息
lsmod | grep vfio	确认VFIO模块加载状态
journalctl -b | grep -i pci	追踪PCI设备初始化过程
xmllint --xpath "//hostdev" /etc/pve/qemu-server/*.conf	检查VM配置中的直通设备
dmidecode -t baseboard	获取主板型号以查证BIOS兼容性
ip link show	确认网络接口是否存在

5. 解决方案集合

为确保GPU成功直通的同时保留集成网卡功能，需从固件层到操作系统层协同调整：

5.1 BIOS/UEFI 层面优化

• 启用Above 4G Decoding
• 开启SR-IOV Support（若支持）
• 关闭Integrated Peripherals中的非必要设备复用
• 设置Primary Display为IGD或PEG根据需求选择
• 禁用CSM（Compatibility Support Module）以避免中断冲突

5.2 内核参数与模块控制

编辑/etc/default/grub，确保添加如下参数：

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"
    

其中：

• intel_iommu=on：启用Intel VT-d
• iommu=pt：仅对虚拟机启用IOMMU，减少主机设备干扰
• pcie_acs_override：强制拆分共享IOMMU组（慎用）

5.3 驱动绑定策略精细化

通过virsh nodedev-list确定网卡设备ID，然后使用脚本精确控制VFIO绑定范围：

#!/bin/bash
# 仅绑定GPU，释放网卡
echo "0000:01:00.0" > /sys/bus/pci/drivers/vfio-pci/bind   # GPU
echo "0000:02:00.0" > /sys/bus/pci/drivers/r8169/bind       # 网卡
    

5.4 持久化配置文件示例

创建/etc/modprobe.d/blacklist-network-vfio.conf防止误绑：

blacklist vfio-pci
install r8169 /sbin/modprobe --ignore-install r8169 && \
/sbin/modprobe --bind=0000:02:00.0 r8169
    

6. 高级调试技巧

对于复杂主板平台（如ASUS ROG、MSI Z系列），建议使用ACPI补丁或DSDT重编译来固化PCI设备映射关系。此外，可通过systemd.device单元定义设备绑定顺序，确保关键网络设备在早期initramfs阶段即完成加载。

还可利用PVE的hookscript机制，在VM启动前动态解绑网卡：

hookscript: |
    #!/bin/sh
    if [ "$1" = "pre" ]; then
        echo 0000:02:00.0 > /sys/bus/pci/drivers/r8169/bind
    fi