负样本下采样后测试集性能为何无提升？

Question

在构建分类模型时，常通过对负样本下采样缓解数据不平衡问题。然而，实践中发现尽管训练效率提升，模型在原始测试集上的性能（如精确率、召回率、F1值）并未改善，甚至可能下降。一个常见问题是：下采样改变了训练数据的分布，导致模型学习到的决策边界偏离真实场景，尤其使正样本误判增多。此外，下采样可能丢失关键负样本信息，削弱模型泛化能力。为何数据分布失真会抑制性能提升？如何在保持类别平衡的同时保留代表性样本？

Answer 1

一、数据分布失真对分类模型性能的影响机制

在构建分类模型时，负样本下采样是一种常见的缓解类别不平衡的策略。然而，尽管其能显著提升训练效率，但实践中常发现模型在原始测试集上的精确率、召回率和F1值并未改善，甚至出现下降。

根本原因在于：下采样改变了训练数据中正负样本的比例，导致训练集的数据分布偏离真实场景下的先验分布。这种“分布偏移”（Distribution Shift）使得模型学习到的决策边界不再适用于实际部署环境。

例如，在一个欺诈检测任务中，真实场景下正常交易占比99.5%，欺诈交易仅占0.5%。若通过下采样将负样本压缩至与正样本1:1，则模型会误认为两类事件发生的概率相近。这将导致其在预测时过度敏感于负类，从而增加对正样本的误判（即假阴性上升），直接影响召回率。

指标	原始分布	下采样后分布	影响方向
正负样本比	1:200	1:1	严重偏移
决策边界位置	偏向正类	居中	误判正样本
预测校准性	良好	偏差大	置信度不可靠
泛化能力	高	低	过拟合风险上升

二、为何关键负样本信息丢失削弱模型泛化能力？

下采样过程通常采用随机或基于启发式的策略剔除大量负样本，但并非所有负样本都等价。某些“困难负样本”（Hard Negatives）——如外观接近正样本的边界案例——对定义清晰的分类边界至关重要。

当这些代表性负样本被随机丢弃时，模型无法学习如何区分细微差异，导致泛化能力下降。例如，在图像分类中，一只猫坐在沙发上可能被误标为“人”，这类模糊样本若被排除，模型将难以处理真实世界中的歧义情况。

• 随机下采样忽略样本密度分布，易删除高信息量样本
• 聚类中心附近的负样本更具代表性，应优先保留
• 边缘区域的负样本有助于扩展决策边界鲁棒性
• 频繁出现的负模式若缺失，模型易产生认知盲区

graph TD A[原始负样本集合] --> B{是否靠近决策边界?} B -- 是 --> C[保留为困难负样本] B -- 否 --> D{是否位于高密度区域?} D -- 是 --> E[保留为核心负样本] D -- 否 --> F[可安全下采样]

三、保持类别平衡同时保留代表性样本的技术路径

为解决上述问题，需在维持类别平衡的同时最大化信息保留。以下为从传统到前沿的系统性方案：

1. 基于聚类的下采样：使用K-Means或DBSCAN对负样本聚类，每类保留中心点或代表性样本。
2. Tomek Links 识别：移除成对的Tomek链接样本（彼此最近且类别不同），净化边界区域。
3. Edited Nearest Neighbors (ENN)：剔除被多数邻居标签不同的样本，提升数据一致性。
4. SMOTE + 下采样组合：先对正样本过采样，再对负样本智能下采样，形成平衡且丰富数据集。
5. 代价敏感学习替代：不改变数据分布，而在损失函数中赋予正样本更高权重。
6. 集成式下采样：训练多个子模型，每个使用不同下采样子集，最终集成预测结果。
7. 主动学习引导：利用不确定性采样选择最具信息量的负样本参与训练。
8. 原型选择方法：如Neural Gas、Learning Vector Quantization (LVQ) 提取原型样本。

from imblearn.under_sampling import ClusterCentroids, EditedNearestNeighbours
from sklearn.cluster import KMeans

# 示例：基于聚类中心的下采样
cc = ClusterCentroids(estimator=KMeans(n_clusters=100))
X_res, y_res = cc.fit_resample(X_train, y_train)

# ENN 清洗噪声样本
enn = EditedNearestNeighbours()
X_clean, y_clean = enn.fit_resample(X_res, y_res)

四、评估策略与工程实践建议

在实施下采样优化时，必须配合合理的验证机制以避免误导性结论。推荐以下流程：

阶段	操作	目的
预处理	分析负样本分布密度	识别潜在困难样本
采样前	可视化t-SNE/UMAP投影	观察类别重叠区域
采样中	结合ENN与聚类	保留结构信息
训练时	启用class_weight='balanced'	双重保障平衡
验证时	使用原始分布测试集	模拟真实场景
部署前	校准预测概率（Platt Scaling）	修正分布偏移影响
监控期	A/B测试对比原始模型	量化改进效果
迭代中	记录被删负样本特征统计	分析信息损失程度

graph LR Start[开始] --> Pre[数据探索与可视化] Pre --> Sample{选择采样策略} Sample -->|传统| Random[随机下采样] Sample -->|进阶| Smart[智能下采样: ENN+聚类] Sample -->|替代| CostSensitive[代价敏感学习] Smart --> Train[模型训练] CostSensitive --> Train Train --> Validate[多维度评估] Validate --> Deploy[上线部署] Deploy --> Monitor[持续监控分布漂移]