如何用PaddleNLP实现多标签文本分类？

Question

在使用PaddleNLP进行多标签文本分类时，一个常见的技术问题是：**如何构建适合多标签任务的数据加载器与模型输出层？** 由于多标签分类中每个样本可以同时属于多个类别，传统的单标签数据组织方式和损失函数不再适用。开发者常困惑于如何正确构造多标签格式的标签（如使用多热编码）、如何选择合适的损失函数（如BCEWithLogitsLoss），以及如何配置预训练模型的头部结构以适配多标签输出。这些问题直接影响模型训练效果和评估指标的准确性，是实现多标签分类的关键难点之一。

Answer 1

在PaddleNLP中构建多标签文本分类任务的数据加载器与模型输出层

在自然语言处理（NLP）任务中，多标签文本分类是一个广泛应用的场景。每个样本可以同时属于多个类别标签，这与传统的单标签分类存在显著差异。因此，在使用PaddleNLP框架进行多标签分类时，开发者需要特别关注数据组织方式、模型结构设计以及损失函数的选择。

1. 多标签分类任务的基本理解

• 每个样本可以拥有多个标签（例如：一篇新闻可以同时属于“科技”、“人工智能”和“大数据”三个标签）
• 标签之间是相互独立的，不具有互斥关系
• 模型输出应为一个概率向量，表示每个标签被激活的可能性

2. 标签的编码方式：从One-Hot到Multi-Hot

原始标签	编码方式	示例
["科技", "AI"]	Multi-Hot	[1, 0, 1, 0]
["健康", "生活"]	Multi-Hot	[0, 1, 0, 1]

对于多标签任务，推荐使用Multi-Hot编码。假设总共有4个可能的标签，则每个样本的标签是一个长度为4的二进制向量，其中1表示该标签存在，0表示不存在。

3. 数据加载器的设计与实现

PaddleNLP支持自定义数据集类，我们可以通过继承MapDataset来构造适配多标签格式的数据加载器：

from paddlenlp.datasets import MapDataset
import numpy as np

class MultiLabelDataset(MapDataset):
    def __init__(self, data, label2id):
        super(MultiLabelDataset, self).__init__(data)
        self.label2id = label2id

    def _convert_labels_to_vector(self, labels):
        vec = np.zeros(len(self.label2id), dtype=np.float32)
        for label in labels:
            if label in self.label2id:
                vec[self.label2id[label]] = 1.
        return vec

    def __getitem__(self, index):
        text, labels = self.data[index]
        label_vec = self._convert_labels_to_vector(labels)
        return {"text": text, "labels": label_vec}

4. 模型输出层的设计

由于是多标签任务，模型的最后一层应输出一个维度等于标签总数的向量，并且不需要Softmax激活函数。通常采用Sigmoid函数对每个输出节点进行非线性变换，以得到每个标签的概率值。

import paddle.nn as nn

class MultiLabelClassifier(nn.Layer):
    def __init__(self, encoder, num_classes):
        super(MultiLabelClassifier, self).__init__()
        self.encoder = encoder
        self.classifier = nn.Linear(encoder.config.hidden_size, num_classes)

    def forward(self, input_ids, token_type_ids=None):
        sequence_output, pooled_output = self.encoder(input_ids, token_type_ids=token_type_ids)
        logits = self.classifier(pooled_output)
        return logits

5. 损失函数的选择与实现

对于多标签分类任务，推荐使用BCEWithLogitsLoss损失函数，它结合了Sigmoid激活函数与二元交叉熵损失，适用于多标签输出：

import paddle
loss_fn = paddle.nn.BCEWithLogitsLoss()

logits = model(input_ids, token_type_ids)
probs = paddle.nn.functional.sigmoid(logits)
loss = loss_fn(logits, labels)

6. 整体流程图示意

graph TD A[原始文本 + 多标签] --> B[数据预处理] B --> C[Tokenization & Multi-Hot编码] C --> D[构建DataLoader] D --> E[PaddleNLP模型加载] E --> F[自定义多标签分类头] F --> G[训练阶段] G --> H[使用BCEWithLogitsLoss计算损失] H --> I[反向传播更新参数]

7. 评估指标的选择

多标签任务常用的评估指标包括：

• 准确率（Accuracy）：所有预测正确的标签数 / 总标签数
• F1-score（宏平均或微平均）
• Hamming Loss：错误预测标签的比例

from sklearn.metrics import f1_score, hamming_loss

preds = (probs.numpy() > 0.5).astype(int)
f1 = f1_score(labels.numpy(), preds, average='micro')
hl = hamming_loss(labels.numpy(), preds)