清风莫追 2022-08-03 20:22 采纳率: 66.7%
浏览 41
已结题

softmax回归的softmax运算与交叉熵损失函数

问题描述

看到说:“分开定义softmax运算和交叉熵损失函数可能会造成数值不稳定。“
还给了提示:
1)试一试计算exp(50)的大小
2)思考一下对数函数的定义域

但是我还是没明白他的意思,为啥会造成数值不稳定啊?

softmax运算 && 交叉熵损失函数

from mxnet import autograd, nd

def softmax(X):
  X_exp = X.exp()
  partition = X_exp.sum(axis=1, keepdims=True)  # 按行求和
  return X_exp / partition

def cross_entropy(y_hat, y):
  return -nd.pick(y_hat, y).log()
  • 写回答

1条回答 默认 最新

  • 爱晚乏客游 2022-08-04 09:47
    关注

    数值不稳定应该是说指数爆炸的问题,exp(50)可能编译器还能给你计算出来,那exp(5000)呢?此时python下面一般是返回inf。那么交叉熵损失函数里面的log(inf) 结果也是inf,这就是数值不稳定。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 8月13日
  • 已采纳回答 8月5日
  • 创建了问题 8月3日

悬赏问题

  • ¥15 大家帮我看看为什么错了
  • ¥15 unity互动琴弦抖动效果
  • ¥15 做了个的二极管反向饱和电流测量电路,但是测试达不到效果
  • ¥15 nginx无证书访问https失败
  • ¥15 树莓派启动AP热点传入数据
  • ¥15 multisim中关于74ls192n和DSWPK开关的问题(相关搜索:计数器)
  • ¥15 在误装Windows server2019 后如何利用Windows.old恢复?
  • ¥20 代码实现状态连接包过滤防火墙的设计与实现
  • ¥15 vscode的红色箭头爆红和has no default export报错
  • ¥15 关于#sql#的问题:#情况描述 在用vs对项目进行调试时,出现找不到网络路径,然后查看SQL配置工具,发现SQL服务显示远程调用过程失败(相关搜索:防火墙)