2 lonely 13 lonely_13 于 2016.03.05 12:09 提问

神经网络 反向传导过程 50C

小弟初学神经网络,出现了一个问题,望各位大神解惑。

首先说下编程结果:
用的sigmoid函数,输入输出参数已归一化,w的初始值为[0,1]的随机数
运行后发现,所有w最终都会趋于0,无论输入什么,隐藏层和输出层的值都趋于不变

自己对公式重新分析后存在困惑:
首先,对于最后一层隐藏层,就是直接与输出层相连的隐藏层,有图片说明,而输出层有图片说明,对于所有最后一层隐藏层中的结点,该值是一样的,也就是说,对于最后一层隐藏层所有节点的w的偏导值完全是等倍数修改的。而这又会导致最后一层隐藏层所有节点的w值趋同,前几层理解过程一样,最终导致相同层的w值都近似相等。
请问是哪里理解错了?

1个回答

devmiao
devmiao   Ds   Rxr 2016.03.05 23:53
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!