pytorch的CrossEntropyLoss需不需要One-hot编码

Question

pytorch的CrossEntropyLoss输入的target需不需要One-hot编码？还是说用不用都行？我看GitHub上的有些是不用One-hot编码的，但是我自己写模型的时候（只有一个数据，训练到过拟合），label不用One-hot编码，模型输出不正确（输出全是0），用了的话就输出就对了（就会过拟合）。

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

在 PyTorch 中，CrossEntropyLoss 函数不需要输入的目标（target）进行 One-hot 编码。CrossEntropyLoss 是用于多分类问题的损失函数，它直接接受类别的整数标签作为输入。对于每一个样本，你只需要提供其对应的类别标签（一个整数）即可。

如果你的模型输出全是零，这可能是由以下几个原因导致的：

1. 模型的初始化权重可能不合适，导致模型无法正确学习。
2. 你的模型可能过拟合，这意味着模型过于复杂，或者训练数据太少，导致模型对训练数据的学习过于精确，但泛化能力较差。这种情况可能会导致模型在训练集上表现很好，但在测试集上表现较差。过拟合的检测和解决方法包括使用正则化、增加数据、降低模型复杂度等。
3. 如果你使用了 One-hot 编码，并且模型的输出层是 softmax 层，那么你的模型是在预测每个类别的概率分布，而 CrossEntropyLoss 会计算这个概率分布和真实的 One-hot 编码之间的 loss。在这种情况下，即使你的模型输出了看似正确的概率分布（比如某个类别的概率接近 1），但如果其他类别的概率不为零，那么 loss 仍然会比较大。因此，即使你的模型在训练集上表现看似很好（即过拟合），但在测试集上的表现可能仍然不佳。

总的来说，对于多分类问题，你可以直接使用整数标签作为 CrossEntropyLoss 的输入，不需要进行 One-hot 编码。如果你的模型在训练过程中出现问题，可能需要检查模型的初始化权重、正则化方法、数据量、模型复杂度等因素。