GPU内存被什么占用？常见原因有哪些？

Question

在深度学习训练过程中，GPU内存被占用是常见问题。主要由模型参数、梯度、优化器状态、激活值和批量数据占据显存。常见原因包括：过大的batch size导致显存溢出；模型结构复杂（如Transformer）带来大量中间激活；未及时释放不再使用的张量；多进程或多任务共享GPU时内存竞争；以及框架默认缓存机制未有效清理。此外，PyTorch等框架可能因动态计算图保留历史记录而增加内存开销。合理调整batch size、使用梯度检查点、启用混合精度训练可有效缓解显存不足问题。

Answer 1

1. GPU内存占用的构成要素

在深度学习训练过程中，GPU显存被多个组件共同占用，主要包括以下五类：

1. 模型参数（Parameters）：神经网络权重和偏置等可学习参数，通常以FP32格式存储，占用大量显存。
2. 梯度（Gradients）：反向传播时计算的参数梯度，大小与模型参数相当。
3. 优化器状态（Optimizer States）：如Adam优化器维护的一阶和二阶动量，额外增加约2倍参数空间。
4. 激活值（Activations）：前向传播中各层输出的中间结果，尤其在Transformer等深层结构中急剧增长。
5. 批量数据（Batch Data）：输入张量及其嵌入表示，随batch size线性增长。

显存组成部分	典型占比（%）	影响因素
模型参数	15-25	模型层数、宽度
梯度	15-25	参数量
优化器状态	30-40	优化算法类型
激活值	20-50	batch size, 模型深度
批量数据	5-15	序列长度, batch size

2. 显存溢出的常见原因分析

• 过大的batch size：直接导致激活值和输入数据显存需求成倍上升，是OOM（Out of Memory）最常见诱因。
• 复杂模型结构：Transformer架构因自注意力机制产生大量中间张量，且残差连接要求保留原始激活。
• 未及时释放张量：Python引用未清除或变量作用域管理不当，造成显存泄漏。
• 多任务/多进程竞争：多个训练任务共享同一GPU设备时，显存资源争用加剧。
• 框架缓存机制：PyTorch的CUDA缓存池不主动释放闲置内存，可能掩盖真实使用情况。
• 动态计算图开销：Autograd引擎为支持自动微分保留全部前向张量，增加额外负担。

graph TD
  A[开始训练] --> B{Batch Size过大?}
  B -- 是 --> C[激活值爆炸]
  B -- 否 --> D{模型复杂?}
  D -- Transformer --> E[大量中间激活]
  D -- CNN/RNN --> F[相对可控]
  E --> G[显存压力剧增]
  C --> G
  G --> H[OOM错误]

3. 显存优化技术路径

针对上述问题，业界已发展出多种有效缓解策略：

import torch
from torch.cuda.amp import autocast, GradScaler

# 启用混合精度训练
scaler = GradScaler()

with autocast():
    output = model(input)
    loss = criterion(output, target)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

1. 调整batch size：最直接手段，可通过梯度累积模拟大batch效果。
2. 梯度检查点（Gradient Checkpointing）：牺牲计算时间换取显存节省，仅保存部分层激活，其余重新计算。
3. 混合精度训练（AMP）：使用FP16进行前向/反向传播，减少显存占用并提升计算效率。
4. 显存清理机制：定期调用torch.cuda.empty_cache()释放缓存，配合del操作符管理变量生命周期。
5. 分布式训练策略：采用ZeRO（Zero Redundancy Optimizer）等技术拆分优化器状态至多卡。
6. 模型并行化：将大型模型切分到多个GPU，降低单卡负载。