V100多卡驱动安装后识别不全或GPU状态异常如何排查？

Question

**问题描述（198词）：** V100多卡服务器（如DGX-1、8×V100机架）在安装NVIDIA官方驱动（如535.129.03）后，`nvidia-smi` 仅识别部分GPU（如只显示0–3号卡，缺失4–7），或出现“GPU X: Not Supported”、“No devices were found”、“PCIe link width/speed降为x1/x2”、“GPU状态为“Failed”或“Uninitialized”等异常。常见诱因包括：BIOS中未启用Above 4G Decoding与Resizable BAR；UEFI CSM/Legacy模式导致PCIe资源分配冲突；内核启动参数`pci=realloc`缺失或`nouveau`驱动未彻底禁用；多卡拓扑下NVLink/Switch配置错误引发设备枚举失败；驱动与CUDA Toolkit版本不兼容（如驱动535搭配CUDA 11.8可能触发V100的ECC初始化异常）；以及物理层面PCIe插槽供电不足或Riser卡接触不良。特别注意：V100对IOMMU/ACS支持敏感，若启用`iommu=on`但未正确配置ACS override，会导致多卡热插拔识别紊乱。需结合`dmesg | grep -i "nvidia\|pci\|acpi"`、`lspci -vv -s `及`nvidia-bug-report.sh`综合诊断，而非仅依赖`nvidia-smi`表层输出。

Answer 1

```html

一、现象层：表层可观测异常（What You See）

在DGX-1或8×V100机架服务器上，执行nvidia-smi后仅显示GPU 0–3，4–7号卡完全缺失；或报错“GPU 4: Not Supported”、“No devices were found”；部分卡状态为Failed或Uninitialized；PCIe链路宽度异常降级至x1/x2（lspci -vv -s 0000:xx:00.0 | grep "LnkSta"可验证）。这些是系统级设备枚举失败的直观信号，而非驱动加载失败——因为nvidia-uvm等模块可能已加载，但GPU硬件未被内核正确发现。

二、启动层：固件与内核引导关键配置（BIOS + Kernel Bootargs）

• BIOS强制项：必须启用 Above 4G Decoding（否则64位PCIe BAR无法映射≥4GB显存）、Resizable BAR Support（V100需完整BAR空间以支持ECC/peer-to-peer）；禁用CSM/Legacy ROM，强制UEFI Native模式
• 内核参数校验：pci=realloc（重分配PCIe资源）、nouveau.modeset=0、rd.driver.blacklist=nouveau、modprobe.blacklist=nouveau；若启用iommu=on，必须追加pci=assign-busses与ACS override补丁（见下节）

三、硬件拓扑层：PCIe物理链路与供电可靠性（Where the Metal Lies）

检查项	验证命令	正常值
Riser卡接触与供电	sudo ipmitool sdr type "Current"	各槽位12V电流≥5A（V100单卡峰值12V@250W）
PCIe链路宽度/速率	lspci -vv -s $(nvidia-smi -q -d PCI | grep "Bus Id" | head -1 | awk '{print $4}') | grep "LnkSta"	"Width x16" & "Speed 8GT/s"

四、内核与IOMMU层：ACS Override与多卡热插拔稳定性（The Hidden Gatekeeper）

V100对ACS（Access Control Services）异常敏感。当iommu=on启用但未覆盖ACS策略时，Linux内核会因PCIe ACS检查失败而拒绝枚举下游设备（尤其NVSwitch连接的GPU组）。解决方案：

1. 确认主板芯片组支持ACS（Intel C621/C622+；AMD SP5需SR-IOV BIOS enable）
2. 添加内核参数：pci=acs_override（强制绕过ACS检查）
3. 验证ACS状态：sudo dmesg | grep -i "acs\|iommu" 应出现ACS enabled或overridden

五、驱动与生态层：版本兼容性与ECC初始化陷阱（The Silent Killer）

驱动535.129.03与CUDA 11.8组合在V100上存在已知ECC初始化竞态：驱动尝试启用ECC时，若GPU尚未完成PCIe链路训练或NVLink仲裁未就绪，将导致GPU进入Uninitialized态且不可恢复。规避方案：

• 优先使用NVIDIA认证组合：驱动535.129.03 + CUDA 12.2（LTS）或驱动525.147.05 + CUDA 11.8
• 临时禁用ECC：nvidia-smi -e 0（仅调试用，生产环境不推荐）
• 检查ECC状态：nvidia-smi -q -d MEMORY | grep "ECC Mode"

六、诊断工具链：从日志到自动化报告（The Diagnostic Pipeline）

必须摒弃仅依赖nvidia-smi的惯性思维。标准诊断流程如下：

graph TD A[dmesg | grep -i 'nvidia\|pci\|acpi'] --> B{PCIe资源冲突?} B -->|Yes| C[检查pci=realloc & Above 4G] B -->|No| D[lspci -vv -s 0000:xx:00.0] D --> E{LnkSta Width/Speed OK?} E -->|No| F[查Riser/供电/BIOS Resizable BAR] E -->|Yes| G[nvidia-bug-report.sh] G --> H[提交至NVIDIA Enterprise Support]

七、终极验证：多卡枚举完整性清单（Checklist for Production）

1. ✅ cat /proc/cmdline 确认含 pci=realloc iommu=on pci=acs_override
2. ✅ dmidecode -t bios | grep -i "version\|date" 验证BIOS ≥ 4.10（DGX-1）或 ≥ 2.1c（8×V100机架）
3. ✅ nvidia-sysmon -i 输出8行GPU信息（非仅4行）
4. ✅ nvidia-smi topo -m 显示完整NVLink全互联拓扑（如DGX-1应为8×8全连接）
5. ✅ sudo nvidia-smi -r 后所有卡状态变为Normal（非Failed/Uninitialized）

```