deim的骨干网络输出的问题

Question

老哥，你好，我现在有一个关于DEIM的代码的一个问题，代码上面的问题我基本上都会，目前是这样的，我把他改成多模态的模型了，数据增强的方案我自己也进行了微调（因为作者没有考虑过多模态的mosaic的问题），然后我用它在resnet50上面运行的时候，效果非常的好，但是我不知足，我还是希望能在HGnetv2上面跑，然后就出现了一个很奇葩的问题，最后的box out得到的全部是NaN，我试过检查代码，我发现问题主要是出在HGnetv2的输出上面，我对模型的改动，无非就是用两个hgnetv2去接收两个模态，在encoder用一个conv1x1给他们进行了一个cat+降维，也就是说后续的decoder没有任何的区别，后续我测试过，只要我用的是hgnetv2作为骨干，不管是deimv1还是刚出的v2，decoder不管换成任何模型的改良都不行，大概是什么样的问题？
发生问题主要在9-17epoch之间，github作者也回复过这个问题，说是关闭amp能解决大部分问题，但是amp一关占用20g显存就没法让我进行任何改进了

Answer 1

晚上好🌙🌙🌙
本答案参考通义千问

你好！你提到的问题非常具有代表性，尤其是在将 DEIM（Dynamic Embedding Inference Module） 模型从 ResNet50 改为 HGNetv2 时出现的 NaN 输出问题。这是一个典型的模型结构、训练过程、数值稳定性或梯度爆炸等问题。

---

✅ 一、问题分析

你提到：

• 使用 HGNetv2 作为骨干网络；
• 多模态输入经过 conv1x1 合并后送入 decoder；
• 在 9~17 epoch 之间 出现了 box out 全部是 NaN 的情况；
• 关闭 AMP 可以解决大部分问题，但显存占用过高；
• 作者建议关闭 AMP，但显存不够，无法继续调试。

这说明问题很可能出现在以下方面：

🔍 1. HGNetv2 的输出特性

HGNetv2 是一种轻量级的特征提取器，其结构和 ResNet50 不同，可能在某些情况下导致梯度爆炸或数值不稳定。

🔍 2. 多模态融合方式的问题

你使用了 conv1x1 对两个模态进行 concat + 降维。如果这个操作设计不当，可能导致特征空间不匹配，从而引发数值问题。

🔍 3. AMP（自动混合精度）的影响

虽然关闭 AMP 可以避免部分 NaN 问题，但如果你的显存不足，无法运行 full precision 的训练，那会极大限制调试能力。

---

🧠 二、可能的原因及解决方案

✅ 1. 检查 HGNetv2 的输出是否正常

重点：HGNetv2 的输出可能存在梯度爆炸或数值溢出。

🔧 解决方案：

• 在训练过程中打印 HGNetv2 的输出值范围，比如：

  print("HGNetv2 output range:", torch.min(hgnet_out), torch.max(hgnet_out))
  

• 如果发现输出值过大（如超过 1e4），说明存在梯度爆炸问题。

• 可以尝试对 HGNetv2 的输出进行归一化或裁剪，例如：

  hgnet_out = torch.clamp(hgnet_out, -1e4, 1e4)
  

---

✅ 2. 优化多模态融合方式

重点：conv1x1 的使用可能造成特征维度不匹配或信息丢失。

🔧 解决方案：

• 确保两个模态的特征图尺寸一致，再进行 concat 或加权融合。

• 使用更稳健的融合方式，如：

  # 示例：使用注意力机制融合两个模态
  fusion = attention_fusion(modal1, modal2)
  

• 或者使用 通道注意力模块（CBAM、SE Block） 来增强特征表达能力。

---

✅ 3. 处理 AMP 带来的数值问题

重点：AMP 虽然加速训练，但可能导致浮点数精度下降，引发 NaN。

🔧 解决方案：

• 降低 AMP 的精度（如使用 fp16 而不是 bfloat16）：

  scaler = torch.cuda.amp.GradScaler()
  for data in dataloader:
      inputs = data[0].to(device)
      with torch.cuda.amp.autocast(dtype=torch.float16):
          outputs = model(inputs)
  

• 在关键层添加梯度裁剪（防止梯度爆炸）：

  torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
  

• 尝试使用混合精度训练时，适当降低学习率，避免数值不稳定。

---

✅ 4. 调试阶段的显存优化策略

重点：显存不足时无法运行 full precision，需要合理优化内存使用。

🔧 解决方案：

• 使用 torch.utils.checkpoint 进行反向传播优化，减少显存占用：

  from torch.utils.checkpoint import checkpoint
  
  def forward_pass(x):
      return model(x)
  
  # 在训练中使用 checkpoint
  x = checkpoint(forward_pass, x)
  

• 使用 torch.utils.data.DataLoader 的 pin_memory=True 和 num_workers=4 提高数据加载效率。

• 使用 torch.cuda.empty_cache() 清理缓存：

  torch.cuda.empty_cache()
  

---

💡 三、代码示例（修改建议）

如果你的模型结构如下：

class MultiModalDEIM(nn.Module):
    def __init__(self):
        super().__init__()
        self.hgnet1 = HGNetv2()
        self.hgnet2 = HGNetv2()
        self.fuse_conv = nn.Conv2d(256, 128, kernel_size=1)  # 两个模态的特征合并

    def forward(self, x1, x2):
        feat1 = self.hgnet1(x1)
        feat2 = self.hgnet2(x2)
        fused = torch.cat([feat1, feat2], dim=1)
        fused = self.fuse_conv(fused)
        return fused

✅ 修改建议：

class MultiModalDEIM(nn.Module):
    def __init__(self):
        super().__init__()
        self.hgnet1 = HGNetv2()
        self.hgnet2 = HGNetv2()
        self.fuse_conv = nn.Conv2d(256, 128, kernel_size=1)  # 两个模态的特征合并

    def forward(self, x1, x2):
        feat1 = self.hgnet1(x1)
        feat2 = self.hgnet2(x2)
        
        # 确保两个模态的特征图尺寸一致
        if feat1.shape != feat2.shape:
            feat2 = F.interpolate(feat2, size=feat1.shape[2:], mode='bilinear', align_corners=False)
        
        fused = torch.cat([feat1, feat2], dim=1)
        fused = self.fuse_conv(fused)
        
        # 添加梯度裁剪（可选）
        # torch.nn.utils.clip_grad_norm_(fused, 1.0)
        
        return fused

---

📌 四、总结

| 问题 | 解决方案 | |------|----------| | HGNetv2 输出异常 | 打印输出范围，进行数值裁剪或归一化 | | 多模态融合问题 | 确保特征图尺寸一致，使用注意力机制融合 | | AMP 导致 NaN | 降低精度、使用梯度裁剪、调整学习率 | | 显存不足 | 使用 checkpoint、清理缓存、优化数据加载 |

---

如果你能提供具体的代码片段（尤其是 HGNetv2 的定义和 DEIM 的结构），我可以进一步帮你定位具体问题所在。希望这些方法对你有帮助！