MMDetection-Semi常见技术问题：半监督训练收敛困难如何解决？

Question

在使用 MMDetection-Semi 进行半监督目标检测训练时，常遇到模型收敛困难的问题。表现为训练损失波动大、伪标签质量不稳定或模型性能提升缓慢。主要原因包括：未标记数据的伪标签噪声干扰、教师模型与学生模型更新策略不当、以及数据增强策略不合理导致学习不稳定。如何有效控制伪标签误差传播并保持模型学习稳定性？

Answer 1

一、半监督目标检测中的模型收敛困难问题解析

在使用 MMDetection-Semi 框架进行半监督目标检测训练时，常常会遇到模型难以稳定收敛的问题。这种现象通常表现为：

• 训练损失波动大，难以下降或趋于平稳；
• 伪标签质量不稳定，容易引入噪声干扰；
• 模型性能提升缓慢，甚至出现退化。

这些问题的根本原因主要包括：

1. 未标记数据的伪标签噪声干扰：由于教师模型预测结果存在误差，导致生成的伪标签不可靠，进而影响学生模型的学习。
2. 教师模型与学生模型更新策略不当：两者之间的知识迁移机制不合理，如动量更新频率不匹配、一致性约束过强或过弱等。
3. 数据增强策略不合理：增强手段过于激进或保守，导致伪标签与增强后的图像之间对应关系混乱。

二、伪标签误差传播机制分析

在半监督学习中，伪标签的质量直接影响模型最终性能。其误差传播路径如下图所示：

graph TD
        A[原始未标注图像] --> B{教师模型推理}
        B --> C[生成伪标签]
        C --> D{伪标签是否可靠?}
        D -- 是 --> E[加入训练集]
        D -- 否 --> F[引入噪声, 误导学生模型]
        E --> G[学生模型学习]
        F --> G
        G --> H[模型性能下降]

从流程图可以看出，伪标签一旦出错，将直接影响学生模型的学习方向，形成误差累积。

三、常见解决方案与技术手段

为了解决上述问题，可以从以下几个方面入手：

问题维度	解决方法	技术原理
伪标签噪声控制	置信度阈值筛选	仅保留置信度高于某一阈值（如0.7）的伪标签，过滤低质量预测。
模型更新策略优化	动量更新教师模型	采用EMA（指数移动平均）方式更新教师模型参数，保持稳定性。
数据增强策略调整	强弱增强策略分离	对输入图像分别应用强增强和弱增强，并要求模型输出一致。
训练过程监控	动态调整伪标签比例	根据验证集表现自动调节伪标签参与训练的比例。

四、MMDetection-Semi 中的关键配置建议

在 MMDetection-Semi 的配置文件中，可通过以下代码片段进行关键参数设置：

model = dict(
    type='SoftTeacher',
    teacher=dict(...),
    student=dict(...),
    train_cfg=dict(
        pseudo_label_initial_score_thr=0.7,  # 控制伪标签质量
        rpn_pseudo_threshold=0.9,
        cls_pseudo_threshold=0.7,
        reg_pseudo_threshold=0.02,
        use_teacher_proposal=False,
        momentum=0.999,  # 教师模型动量更新系数
        num_classes=80,
        use_augmentations=True,
        augmentation_type='weak-strong'  # 增强策略类型
    )
)

该配置可有效平衡伪标签质量和模型学习稳定性。