softmax回归的softmax运算与交叉熵损失函数

Question

问题描述

看到说：“分开定义softmax运算和交叉熵损失函数可能会造成数值不稳定。“
还给了提示：
1）试一试计算exp(50)的大小
2）思考一下对数函数的定义域

但是我还是没明白他的意思，为啥会造成数值不稳定啊？

softmax运算 && 交叉熵损失函数

from mxnet import autograd, nd

def softmax(X):
  X_exp = X.exp()
  partition = X_exp.sum(axis=1, keepdims=True)  # 按行求和
  return X_exp / partition

def cross_entropy(y_hat, y):
  return -nd.pick(y_hat, y).log()

Answer 1

数值不稳定应该是说指数爆炸的问题，exp(50)可能编译器还能给你计算出来，那exp(5000)呢？此时python下面一般是返回inf。那么交叉熵损失函数里面的log(inf) 结果也是inf，这就是数值不稳定。