PVE下FNOS直通AMD显卡无法识别怎么办？

Question

在PVE环境下将AMD显卡直通给FNOS（如Fedora或NoMachine OS）虚拟机时，常出现系统无法识别显卡的问题。典型表现为：lspci可查到设备，但/dev/dri/目录下无renderD128节点，驱动加载失败。可能原因包括IOMMU未正确启用、VFIO驱动未绑定显卡设备、ACPI设置冲突或UEFI固件缺失。此外，AMD GPU在非Windows系统下需确保启用amdgpu驱动而非radeon，且PVE内核参数需配置intel_iommu=on或amd_iommu=on。如何排查并解决PVE下FNOS直通AMD显卡无法识别的问题？

Answer 1

在PVE环境下直通AMD显卡至FNOS虚拟机的深度排查与解决方案

1. 问题背景与典型表现

在Proxmox VE（PVE）环境中，将AMD GPU直通给基于Linux内核的FNOS系统（如Fedora或NoMachine OS）时，常出现“设备可见但无法使用”的现象。具体表现为：

• lspci 能正确识别显卡设备（如Radeon RX 6000系列）
• /dev/dri/ 目录下缺失 renderD128 节点
• GPU驱动加载失败，X Server或Wayland无法初始化图形输出
• dmesg日志中提示“amdgpu: failed to load firmware”或“VFIO: device is not bound”

此类问题涉及硬件、固件、内核、驱动和虚拟化层的多层级交互，需系统性排查。

2. 基础检查：IOMMU组与硬件支持验证

首先确认CPU与主板是否支持IOMMU，并已在BIOS中启用相关选项。

# 检查AMD平台IOMMU是否激活
dmesg | grep -i iommu
# 输出应包含：AMD-Vi: Enabling IOMMU at 0000:00:00.2 cap 0x40

# 列出所有IOMMU组
sh -c "for g in \$(find /sys/kernel/iommu_groups/* -maxdepth 0 -type d | sort -V); do \
    echo \"IOMMU Group \${g##*/}:\";
    for d in \$g/devices/*; do
        if [ -e \"\$d\" ]; then
            pcid=$(basename \"\$d\")
            echo \"  \$(lspci -nns \$pcid)\"
        fi
    done;
done"

IOMMU组编号	PCI设备ID	设备描述	是否独立分组
13	1002:73ff	Advanced Micro Devices, Inc. [AMD/ATI] Navi 21 [Radeon RX 6800/6800 XT / 6900 XT]	是
14	1002:ab28	AMD Starship/Matisse HD Audio Controller	否（需与GPU同组直通）

3. 内核参数配置与VFIO绑定流程

PVE主机必须在启动时启用IOMMU和VFIO驱动，确保设备可被安全隔离。

1. 编辑GRUB配置：/etc/default/grub
2. 修改行：GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt vfio_pci.enable_sriov=1"
3. 更新配置：update-grub
4. 加载VFIO模块：echo "vfio-pci" >> /etc/modules
5. 屏蔽默认驱动：echo "blacklist radeon" >> /etc/modprobe.d/blacklist.conf
6. 强制使用amdgpu：echo "options amdgpu enable_audio=1" >> /etc/modprobe.d/amdgpu.conf

完成后重启系统并验证模块加载状态。

4. VFIO驱动绑定与设备解绑脚本

使用脚本自动化解除内核驱动占用，并绑定至VFIO。

#!/bin/bash
GPU_ID="1002:73ff"
AUDIO_ID="1002:ab28"

echo "Binding GPU and HDMI Audio to VFIO..."
echo $GPU_ID > /sys/bus/pci/drivers/vfio-pci/new_id
echo $AUDIO_ID > /sys/bus/pci/drivers/vfio-pci/new_id

# 解除原有驱动绑定
echo 0000:0a:00.0 > /sys/bus/pci/devices/0000:0a:00.0/driver/unbind
echo 0000:0a:00.1 > /sys/bus/pci/devices/0000:0a:00.1/driver/unbind

# 绑定到VFIO
echo 0000:0a:00.0 > /sys/bus/pci/drivers/vfio-pci/bind
echo 0000:0a:00.1 > /sys/bus/pci/drivers/vfio-pci/bind

建议将该脚本加入systemd服务，在开机早期执行。

5. UEFI固件与ACPI兼容性处理

部分AMD显卡需要正确的UEFI ROM镜像才能正常初始化。

1. 从GPU厂商官网或GPU-Z工具提取显卡ROM文件（*.rom）
2. 上传至PVE主机：/usr/share/qemu/
3. 在虚拟机配置中添加：

   args: -drive file=/usr/share/qemu/amd_rx6800.rom,if=pflash,format=raw,readonly=on

4. 若遇到ACPI冲突，尝试在QEMU命令行添加：

   -acpitable file=/path/to/custom.acpi

某些主板BIOS需关闭CSM（Compatibility Support Module）以启用完整UEFI模式。

6. FNOS客户机端驱动与运行时环境配置

即使设备成功直通，客户机仍需正确配置以启用amdgpu驱动。

# 在FNOS中检查驱动加载
lspci -k | grep -A 3 -i "VGA\|3D"
# 应显示 Kernel driver in use: vfio-pci

# 手动触发DRM设备创建
modprobe amdgpu
udevadm trigger --subsystem-match=drm

# 验证DRI节点生成
ls /dev/dri/
# 正常输出：card0 controlD64 renderD128

若renderD128仍未生成，检查firmware-amd-graphics包是否安装：

dnf install firmware-amd-graphics

7. 日志分析与故障树（Fault Tree Analysis）

graph TD
  A[GPU不可用] --> B{IOMMU Enabled?}
  B -- No --> C[启用BIOS中SVM Mode/IOMMU]
  B -- Yes --> D{VFIO绑定成功?}
  D -- No --> E[检查new_id与unbind流程]
  D -- Yes --> F{客户机加载amdgpu?}
  F -- No --> G[屏蔽radeon, 加载amdgpu]
  F -- Yes --> H{Firmware加载失败?}
  H -- Yes --> I[注入UEFI ROM镜像]
  H -- No --> J[检查ACPI表与电源管理]

通过此流程图可逐层定位根本原因。

8. 高级调试技巧与性能调优

对于高端应用场景（如云渲染、远程工作站），还需考虑：

• 启用Resizable BAR（在BIOS和QEMU中设置chassis=1）
• 配置mdev（ mediated device）实现vGPU切分（适用于MI系列）
• 使用qemu-system-x86_64手动测试直通参数稳定性
• 监控GPU温度与功耗：sensors, radeontop
• 开启KVM GTOD校准避免时间漂移影响图形同步

示例QEMU高级参数：

-cpu host,hv_passthrough,+vbcpuid -machine q35,accel=kvm -device vfio-pci,host=0a:00.0,multifunction=on,x-vga=on