深度学习猫狗分类中如何解决样本不均衡问题？

Question

在深度学习猫狗分类任务中，当猫类样本远多于狗类时，模型易偏向多数类，导致少数类识别准确率低。如何在不增加额外数据的前提下，有效缓解类别不平衡对模型性能的影响？

Answer 1

1. 类别不平衡问题的表层理解与现象分析

在深度学习猫狗分类任务中，当猫类样本数量远超狗类时，模型倾向于将更多预测结果分配给多数类（猫），从而导致少数类（狗）的识别准确率显著下降。这种现象称为类别不平衡问题，是分类任务中的常见挑战。

• 多数类主导损失函数优化方向
• 模型学习到“懒惰策略”：倾向于预测为猫以最小化整体损失
• 混淆矩阵中狗类的召回率通常偏低
• 精确率-召回率曲线（PR Curve）显示少数类性能退化严重
• F1-score 对少数类表现敏感，常作为评估指标

2. 数据层面的权重调节机制

尽管不引入额外数据，但可通过调整样本在训练过程中的相对重要性来缓解不平衡。常用方法包括类别权重（Class Weight）和损失加权。

类别	样本数	频率	逆频权重	平方根逆频
猫	8000	0.8	0.2	0.447
狗	2000	0.2	0.8	0.894

使用加权交叉熵损失函数：

import torch.nn as nn
import torch

class_weights = torch.tensor([0.2, 0.8])  # 狗类获得更高权重
criterion = nn.CrossEntropyLoss(weight=class_weights)

3. 损失函数的进阶设计：Focal Loss 与 Label Smoothing

Focal Loss 通过降低易分类样本的权重，使模型更关注难分样本，尤其适用于不平衡场景。

\[ FL(p_t) = -\alpha_t (1 - p_t)^\gamma \log(p_t) \]

其中：

• \( \alpha_t \)：类别平衡因子，提升少数类影响
• \( \gamma \)：聚焦参数，控制易分样本的权重衰减速度

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2.0):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        ce_loss = nn.CrossEntropyLoss(reduction='none')(inputs, targets)
        pt = torch.exp(-ce_loss)
        focal_loss = self.alpha * (1-pt)**self.gamma * ce_loss
        return focal_loss.mean()

4. 训练策略优化：重采样与分阶段训练

虽然不能新增数据，但可对现有数据集进行重采样（Re-sampling）策略调整。

1. 过采样少数类：重复狗类样本参与训练
2. 欠采样多数类：随机丢弃部分猫类样本
3. 组合采样：SMOTE 思想应用于特征空间插值（无需外部数据）
4. 分阶段训练：先用均衡子集预热模型，再全量微调

示例代码实现动态采样器：

from torch.utils.data import WeightedRandomSampler

# 根据类别频率生成样本权重
weights = [0.2 if label == 0 else 0.8 for label in dataset.labels]
sampler = WeightedRandomSampler(weights, num_samples=len(dataset), replacement=True)

5. 模型结构与正则化协同设计

通过架构调整增强模型对少数类的敏感度。

graph TD A[输入图像] --> B[卷积骨干网络] B --> C{注意力模块} C --> D[通道注意力: SE Block] D --> E[空间注意力] E --> F[分类头] F --> G[加权损失计算] G --> H[反向传播更新] H --> I[更高的狗类梯度贡献]

引入正则化技术如 Dropout、Label Smoothing 可防止模型对多数类过度自信。

6. 评估体系重构与阈值校准

传统 accuracy 不适合不平衡任务，应采用更细粒度评估指标。

指标	猫类	狗类	Macro Avg
Precision	0.85	0.60	0.725
Recall	0.90	0.50	0.70
F1-Score	0.87	0.55	0.71

使用 Platt Scaling 或 Isotonic Regression 对输出概率进行校准，并调整决策阈值：

from sklearn.calibration import CalibratedClassifierCV
calibrator = CalibratedClassifierCV(base_model, method='isotonic', cv=3)
calibrator.fit(val_features, val_labels)