用tensorflow做梯度下降

Question

这是鸢尾花种类判别，感觉挺经典的，

for epoch in range(epoch):  #数据集级别的循环，每个epoch循环一次数据集
    for step, (x_train, y_train) in enumerate(train_db):  #batch级别的循环 ，每个step循环一个batch
        with tf.GradientTape() as tape:  # with结构记录梯度信息
            y = tf.matmul(x_train, w1) + b1  # 神经网络乘加运算
            y = tf.nn.softmax(y)  # 使输出y符合概率分布（此操作后与独热码同量级，可相减求loss）
            y_ = tf.one_hot(y_train, depth=3)  # 将标签值转换为独热码格式，方便计算loss和accuracy
            loss = tf.reduce_mean(tf.square(y_ - y))  # 采用均方误差损失函数mse = mean(sum(y-out)^2)
            loss_all += loss.numpy()  # 将每个step计算出的loss累加，为后续求loss平均值提供数据，这样计算的loss更准确

如果仅仅是做预测，我知道要把预测值经过softmax，这样就能得到各个种类可能的预测概率，单独的one_hot我也明白，但是上面这个代码，做损失函数，为啥预测值要经过softmax，真实值要经过one_hot，这两个相加减我不是很明白，为啥这样计算损失函数

Answer 1

以使网络模型更快地输出优质的 one-hot 编码 ->这个说的更明显http://t.csdn.cn/DzXTX ，但总的意思就是为加快网络输出结果尽快向 one-hot 编码收敛需要做一个变幻，变换称为 softmax 函数，这样yi就有了，然后用均方差损失函数来求一个损失值

Answer 2

我可能表达略有问题，我是好奇这个损失函数为啥这么算，如果预测值和真实值都是纯数，我能理解它的损失函数的计算，但是这个分类，预测值和真实值？这个损失函数咋计算？

Answer 3

以输出三种结果为例，onehot对应（1，0，0）（0，1，0）（0，0，1）三种，这是真实值，预测值softmax输出（0.2，0.3，0.5）这不就对应第三种了么，这就是预测值