就像下图这样,输出之后用softmax归一,这里我用MSE举例方便(我写代码试了一下交叉熵算出来效果问题是一样的),当要优化那个隐藏层神经元的时候,要把每个输出神经元对其的偏导相加求和,然后我发现离谱的事情无论任何情况,相加后都等于0。我写代码随机初始化了所有参数,但是打印出来这个相加后的梯度永远是0,也就是说所有隐藏层神经元的任何参数都无法被更新,网上一直没有找到相关讲解,求解答!换用任何损失函数都有这个问题
多个输出神经元误差反向传播到一个隐藏层神经元时其梯度为0?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
关注 【相关推荐】
- 这篇文章讲的很详细,请看:机器学习入门(06)— 输出层多元分类、softmax 归一化指数函数以及输出层的神经元数量
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^解决评论 打赏 举报无用 1
悬赏问题
- ¥15 is not in the mmseg::model registry。报错,模型注册表找不到自定义模块。
- ¥15 安装quartus II18.1时弹出此error,怎么解决?
- ¥15 keil官网下载psn序列号在哪
- ¥15 想用adb命令做一个通话软件,播放录音
- ¥30 Pytorch深度学习服务器跑不通问题解决?
- ¥15 部分客户订单定位有误的问题
- ¥15 如何在maya程序中利用python编写领子和褶裥的模型的方法
- ¥15 Bug traq 数据包 大概什么价
- ¥15 在anaconda上pytorch和paddle paddle下载报错
- ¥25 自动填写QQ腾讯文档收集表