GPU Monitor显示显存占用异常偏高，如何排查？

Question

GPU Monitor显示显存占用异常偏高，但实际运行任务较轻，可能由显存泄漏或驱动异常引起。如何排查此类问题？

Answer 1

1. 初步现象识别与基础排查

当GPU Monitor显示显存占用异常偏高，但实际运行任务较轻时，首先需确认是否为真实显存占用。可通过以下命令快速验证：

nvidia-smi

该命令将输出当前GPU的使用情况，包括显存使用量、进程PID等信息。重点关注Memory-Usage字段，并核对是否有未知或僵尸进程占用显存。

• 检查是否存在残留的CUDA进程（如训练中断后未释放资源）
• 确认系统中无后台深度学习框架（如PyTorch、TensorFlow）实例在运行
• 查看Processes表项中PID对应的程序名称

2. 进程级显存溯源分析

通过nvidia-smi获取占用显存的进程PID后，可进一步定位问题来源：

PID	Process Name	GPU Memory Usage	Action
12345	python train.py	6GB	检查代码中tensor缓存释放逻辑
67890	unknown	2GB	kill -9 并重启服务

若发现进程无法正常终止，可能已进入不可中断睡眠状态，需重启GPU驱动或系统。

3. 显存泄漏的代码级排查

显存泄漏常见于深度学习训练脚本中，尤其是在循环训练或数据加载过程中。典型场景如下：

for epoch in range(epochs):
    output = model(input)
    loss = criterion(output, target)
    loss.backward()
    optimizer.step()
    # 缺少 zero_grad() 或 del loss 可能导致累积
    if epoch % 10 == 0:
        print(f'Epoch {epoch}, Loss: {loss.item()}')

建议添加显存清理机制：

import torch
torch.cuda.empty_cache()

同时使用torch.utils.checkpoint减少中间变量驻留显存时间。

4. 驱动与运行时环境诊断

显存异常也可能源于NVIDIA驱动版本不匹配或CUDA运行时异常。执行以下步骤：

1. 检查驱动版本：nvidia-smi顶部显示驱动版本
2. 确认CUDA Toolkit版本兼容性
3. 运行cuda-memcheck工具检测内存错误
4. 更新至稳定版驱动（推荐LTS版本）
5. 检查内核日志：dmesg | grep -i nvidia
6. 查看Xid错误码，判断是否发生GPU硬件异常

5. 系统级监控与自动化检测流程

graph TD
    A[GPU Monitor报警] --> B{nvidia-smi检查显存}
    B --> C[识别高占用进程PID]
    C --> D{进程是否合法?}
    D -- 是 --> E[检查代码显存管理]
    D -- 否 --> F[Kill进程并记录]
    E --> G[插入torch.cuda.empty_cache()]
    G --> H[部署监控脚本定期巡检]
    H --> I[生成日报报表]

构建自动化巡检脚本，定时采集显存数据并预警：

#!/bin/bash
while true; do
  MEM_USED=$(nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits -i 0)
  if [ $MEM_USED -gt 8000 ]; then
    echo "$(date): High GPU memory usage: ${MEM_USED}MB" >> /var/log/gpu_alert.log
  fi
  sleep 60
done