关于神经网络的问题不太懂

Question

初入深度学习，也说不清，就说神经网络吧，有个标签也就是真实值，我知道输入值经过网络模型后，比如多分类模型，变为10个概率，但是怎么和标签做损失函数啊，标签一般都会转为张量，到底如何和这10个概率做损失函数啊，什么向前传播向后传播，各种损失函数我都知道，就是不知道标签如何和模型的输出做损失，而且标签到底怎么做，比如识别数字123456789，标签到底是按图的像素转张量做还是取int型数字转为张量就行？

Answer 1

你说的没错，分类神经网络的输出张量一般是一个概率，就像你说的10个概率。
比如拿5个概率举例，输出可能如下所示。我们假设标签是独热码的形式，且其预测正确，则标签也如下所示，标签可以使用独热码（只有一个元素为1，其余为0）的格式，表示取该类的概率为1，其他种类的概率为0。

神经网络输出
[0.1 0.1 0.2 0.2 0.4]

正确标签
[0 0 0 0 1]

然后正确标签和神经网络的输出使用交叉熵损失函数计算误差。
但是一般数据集不会给出这样的独热码标签，因为如果种类多则这个向量会很长。
一般给出的标签是一个数字，比如0、1、2.....
而神经网络的框架（如pytorch）中有封装的Crossentropy损失函数可以根据这种简单的数字和神经网络输出计算误差，结果和将其转化为独热码后再计算误差是一样的。
如还有不懂可以追问，如问题解决请采纳！