SFT微调中如何避免灾难性遗忘？

Question

在SFT（监督微调）过程中，模型常因过度拟合下游任务数据而遗忘预训练阶段学到的通用知识，即“灾难性遗忘”。一个典型问题是：当微调数据规模较小或分布单一时，模型参数大幅更新，导致其在原始语言建模能力上的性能显著下降。如何在提升特定任务表现的同时，保留预训练阶段获得的语言理解与生成能力？这引出了关键挑战：如何平衡旧知识保留与新任务学习？常见思路包括引入正则化方法、参数冻结策略或结合回放机制，但这些方法在实际应用中面临计算开销大或存储需求高等问题。

Answer 1

监督微调中的灾难性遗忘问题及其应对策略

1. 问题背景与现象分析

在监督微调（Supervised Fine-Tuning, SFT）过程中，大语言模型（LLM）通过在特定下游任务数据上进行训练以提升任务性能。然而，当微调数据规模较小或分布单一（如仅包含客服对话、法律文书等），模型容易过度拟合这些有限样本，导致其在预训练阶段学到的通用语言知识被覆盖或遗忘——这一现象被称为“灾难性遗忘”。

例如，在一个仅有500条金融问答对的数据集上微调一个百亿参数模型，可能导致其生成日常对话的能力显著下降。这种能力退化表现为：

• 语法结构错误增多
• 常识推理能力减弱
• 跨领域泛化能力下降
• 语言流畅性降低

2. 核心挑战：新任务学习 vs. 旧知识保留

微调的本质是参数空间的迁移优化。理想情况下，模型应仅调整与目标任务相关的子空间，而保持其余部分稳定。但梯度更新通常作用于全部可训练参数，造成全局扰动。

关键挑战在于如何实现以下目标：

目标维度	具体表现	评估指标示例
任务性能提升	准确率、F1值上升	NER F1: +15%
通用能力保留	语言建模困惑度不变	PPL变化 ≤ 10%
跨域泛化	零样本迁移能力维持	ZS-ACC > 70%
训练效率	计算资源可控	GPU小时 ≤ 40
部署兼容性	无需额外存储原始数据	回放机制开销 = 0

3. 常见解决方案分类与技术路径

根据干预方式的不同，现有方法可分为三类：

1. 正则化方法：限制参数更新幅度，防止偏离原始状态过远
2. 参数冻结策略：固定部分网络层，仅微调特定模块
3. 回放机制：引入预训练数据片段，重建知识记忆

每种方法均有其适用场景和局限性，需结合实际工程约束选择。

4. 正则化方法详解

通过在损失函数中添加约束项，控制参数更新方向。典型代表包括：

import torch
import torch.nn as nn

class EWCRegularizer:
    def __init__(self, model, dataloader, device):
        self.model = model
        self.fisher = {}
        self.params = {}
        self.device = device
        self._compute_fisher(dataloader)

    def _compute_fisher(self, loader):
        for name, param in self.model.named_parameters():
            self.fisher[name] = torch.zeros_like(param.data)
            self.params[name] = param.data.clone()

    def penalty(self):
        loss = 0
        for name, param in self.model.named_parameters():
            if name in self.fisher:
                loss += (self.fisher[name] * (param - self.params[name])**2).sum()
        return loss * 0.5
    

Elastic Weight Consolidation (EWC) 和 L2 正则化是常用手段，但可能抑制新任务学习能力。

5. 参数高效微调（PEFT）的兴起

为减少全量微调带来的干扰，PEFT 技术仅更新少量参数：

• LoRA（Low-Rank Adaptation）：插入低秩矩阵
• Adapter Layers：嵌入小型神经模块
• BitFit：仅微调偏置项

这些方法天然具备知识保留优势，因其不修改主干权重。

6. 回放机制的设计权衡

通过存储或生成预训练样本，在微调时混合使用新旧数据。流程如下：

graph TD
            A[开始微调] --> B{是否启用回放?}
            B -- 是 --> C[加载缓存的预训练样本]
            B -- 否 --> D[仅用下游任务数据]
            C --> E[构建混合批次]
            E --> F[前向传播+反向更新]
            F --> G[保存新样本至缓冲池?]
            G --> H[结束]

尽管有效，但存在存储成本高、隐私泄露风险等问题。

7. 实践建议与工程考量

针对不同应用场景，推荐策略组合：

场景	数据量	推荐方案	备注
小样本任务	<1k	LoRA + EWC	避免全参数更新
中等规模	1k~10k	Adapter + Dropout	平衡性能与开销
多任务联合	跨域数据	Gradient Surgery	冲突梯度分离
边缘部署	资源受限	BitFit + Quantization	极致轻量化
高安全要求	敏感内容	Frozen LM + Prompt Tuning	零数据暴露

实际系统中还需监控语言模型原始能力的变化趋势。