nvidia-smi为何查不到正在运行的GPU进程？

Question

为什么使用 `nvidia-smi` 时无法看到正在运行的GPU进程，即使已启动深度学习训练任务？可能的原因包括：进程尚未实际占用GPU（如仍处于数据加载阶段）、CUDA上下文未初始化；或GPU进程以低权限运行导致信息不可见；也可能是多实例GPU（MIG）环境下，`nvidia-smi` 默认不显示子实例进程。此外，驱动版本过旧、容器环境未正确挂载GPU（如Docker未安装nvidia-container-toolkit），或进程异常崩溃后残留计算上下文，也可能导致监控信息缺失。需结合 `ps`、`top` 及日志进一步排查。

Answer 1

1. 常见现象与初步排查

在深度学习训练任务中，开发者常依赖 nvidia-smi 监控GPU使用情况。然而，即使已启动训练脚本（如PyTorch或TensorFlow），nvidia-smi 仍可能未显示任何进程占用GPU。这一现象的初步原因包括：

• 训练脚本尚未进入实际计算阶段，仍处于数据加载或预处理阶段；
• CUDA上下文未初始化，GPU未被显式调用；
• 用户权限不足，无法查看其他用户的GPU进程；
• 执行环境为容器化部署，但未正确挂载GPU设备。

建议首先通过 ps aux | grep python 或 top 确认进程是否正在运行，并结合日志判断当前执行阶段。

2. 深层机制：CUDA上下文与GPU资源分配

GPU进程的可见性依赖于CUDA上下文的创建。以下流程说明了从进程启动到GPU占用的关键步骤：

1. Python脚本导入深度学习框架（如torch）；
2. 调用 torch.cuda.is_available() 检测GPU可用性；
3. 模型或张量通过 .to('cuda') 显式迁移至GPU；
4. CUDA驱动创建上下文并注册进程信息至NVIDIA内核模块；
5. nvidia-smi 从内核模块读取并展示该进程。

若第3步未执行，或仅部分操作在CPU上完成（如Dataloader），则GPU利用率仍为0%，且进程不会出现在 nvidia-smi 的进程列表中。

3. 多实例GPU（MIG）环境下的监控盲区

在A100等支持MIG的GPU上，物理GPU被划分为多个独立实例。默认情况下，nvidia-smi 不显示MIG实例内的进程，需使用特定命令查看：

命令	用途
nvidia-smi mig -lci	列出MIG计算实例
nvidia-smi -q -d PIDS	查询所有PID（含MIG内进程）
nvidia-smi --query-gpu=name,uuid,mig.mode --format=csv	检查MIG是否启用

若MIG已启用但未使用专用命令，将导致“进程存在但不可见”的假象。

4. 容器化环境中的GPU挂载问题

在Docker或Kubernetes环境中，GPU资源需通过 nvidia-container-toolkit 显式暴露。常见错误配置如下：

# 错误：未启用GPU支持
docker run -it pytorch:latest python train.py

# 正确：使用nvidia作为运行时
docker run --gpus all -it pytorch:latest python train.py

# Kubernetes Pod示例
apiVersion: v1
kind: Pod
spec:
  containers:
    - name: trainer
      image: pytorch:latest
      resources:
        limits:
          nvidia.com/gpu: 1

若未安装 nvidia-docker2 或未配置runtime，容器内进程无法访问GPU，nvidia-smi 将无法识别其存在。

5. 驱动与工具版本兼容性分析

过旧的NVIDIA驱动可能导致进程信息上报失败。以下是推荐的版本矩阵：

GPU架构	最低驱动版本	支持CUDA版本	典型问题
Pascal (P100)	418.xx	10.1	不支持MIG
Volta (V100)	440.xx	10.2	容器支持弱
Ampere (A100)	450.xx	11.0	MIG需470+
Hopper (H100)	525.xx	12.0	旧版nvidia-smi无H100支持

建议定期更新驱动并通过 nvidia-smi --version 和 nvcc --version 核对一致性。

6. 异常残留与系统级故障排查

当GPU进程异常崩溃后，可能残留CUDA上下文，导致新进程无法获取资源或监控信息错乱。可使用以下命令清理：

# 查看是否存在僵尸进程
fuser -v /dev/nvidia*

# 强制释放GPU内存（谨慎使用）
nvidia-smi --gpu-reset -i 0

# 重启nvidia驱动服务（生产环境慎用）
sudo systemctl restart nvidia-driver.service

此外，可通过 dmesg | grep -i nvidia 检查内核日志是否存在硬件或驱动错误。

7. 综合诊断流程图

graph TD
    A[启动训练任务] --> B{nvidia-smi有进程?}
    B -- 否 --> C[检查ps/top确认进程运行]
    C --> D{是否在数据加载阶段?}
    D -- 是 --> E[等待进入forward/backward]
    D -- 否 --> F[检查CUDA上下文初始化]
    F --> G{是否调用.to(cuda)?}
    G -- 否 --> H[修正代码迁移模型/数据]
    G -- 是 --> I[检查是否为容器环境]
    I --> J{是否启用--gpus all?}
    J -- 否 --> K[配置nvidia-container-toolkit]
    J -- 是 --> L[检查MIG模式是否启用]
    L --> M{MIG已启用?}
    M -- 是 --> N[使用nvidia-smi mig命令查看]
    M -- 否 --> O[检查驱动版本与日志]
    O --> P[执行系统级清理或重启]

该流程图覆盖从应用层到系统层的完整排查路径。