如何使用ChatGLM3-6b做多标签分类？

Question

诚心提问！
我目前有一个多标签分类任务，使用ChatGLM3-6b的p-tuning v2方法进行微调，我将我的文本和标签分别按照模型适用的形式输入，做SFT，但未修改loss和评估指标，一切都按照原来生成任务的形式。训练了5000步后，效果依旧不好。
'eval_rouge-1': 73.433334, 'eval_rouge-2': 71.583334, 'eval_rouge-l': 73.22808, 'eval_bleu-4': 0.42926900076182845
loss:0.30左右
但是，测试的输出会有很多标签外的文本
我的输入形式如下：
{"conversations": [{"role": "user", "content": "任务：为以下文本匹配相关的标签。标签只能从以下20个标签中选择：x，x\n输出指南：只需要输出匹配的标签，无需过多解释，多个匹配项用'&'连接。\n文本："}, {"role": "assistant", "content": "娱乐&足球"}]}
我是否需要修改其loss?或者再继续训练下去？或者有什么参数是需要我修改的吗？

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

首先，你需要确保你的模型已经正确地进行了多标签分类任务的微调。在这种情况下，你需要修改损失函数和评估指标以适应多标签分类任务。你可以尝试使用二元交叉熵损失（Binary Cross Entropy Loss）作为损失函数，并使用准确率（Accuracy）或其他多标签分类指标（如F1分数、精确度和召回率）来评估模型性能。

其次，你可以尝试调整训练参数，例如学习率、批次大小等，以优化模型性能。此外，你还可以尝试使用不同的预训练模型或调整模型结构，以提高多标签分类任务的性能。

最后，确保你的数据集足够大且具有代表性，以便模型能够学到有效的特征。如果可能的话，尝试收集更多的数据或使用数据增强技术来扩充你的数据集。

总之，你需要对模型进行适当的调整，包括损失函数、评估指标和训练参数，以提高多标签分类任务的性能。同时，确保你的数据集足够大且具有代表性。