2 lonely 13 lonely_13 于 2016.03.05 12:09 提问

神经网络 反向传导过程 50C

小弟初学神经网络,出现了一个问题,望各位大神解惑。

首先说下编程结果:
用的sigmoid函数,输入输出参数已归一化,w的初始值为[0,1]的随机数
运行后发现,所有w最终都会趋于0,无论输入什么,隐藏层和输出层的值都趋于不变

自己对公式重新分析后存在困惑:
首先,对于最后一层隐藏层,就是直接与输出层相连的隐藏层,有图片说明,而输出层有图片说明,对于所有最后一层隐藏层中的结点,该值是一样的,也就是说,对于最后一层隐藏层所有节点的w的偏导值完全是等倍数修改的。而这又会导致最后一层隐藏层所有节点的w值趋同,前几层理解过程一样,最终导致相同层的w值都近似相等。
请问是哪里理解错了?

1个回答

devmiao
devmiao   Ds   Rxr 2016.03.05 23:53
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
再谈神经网络反向传播原理
一、 缘起之前根据目前所学(看《游戏编程中的人工智能》以及网上的各种博客文章等等资料),写了一篇关于神经网络实现手写数字识别的文章,但随着继续学习(尤其是后来报了CSDN的《机器学习:机器学习40天精英计划》课程),发觉之前的文章对反向传播以及神经网络的演化(或者说学习)论述的还很牵强,不够到位,于是就想着再次整理一下关于反向传播相关的知识,就权当做学习笔记吧。二、分解神经元(人工神经细胞)前面《神
神经网络(前向传播和反向传导)
谓神经网络就是将许多个单一“神经元”(图1)联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入,如图2所示。
神经网络反向传导算法
假设我们有一个固定样本集 ,它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲,对于单个样例 ,其代价函数为: 这是一个(二分之一的)方差代价函数。给定一个包含  个样例的数据集,我们可以定义整体代价函数为: 以上公式中的第一项  是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。 [注:通常权重衰减
详解反向传播算法
反向传播算法一般用链式法解释,例如有如下神经网络一 前向传播对于节点h1来说,h1的净输入neth1如下接着对neth1做一个sigmoid函数得到节点h1的输出类似的,我们能得到节点h2,o1,o2的输出outh2,outo1,outo2.二 误差得到结果后整个神经网络的输出误差可以表示为:其中output就是刚刚前向传播算出来的outo1,outo2;target是节点o1,o2的目标值。Eto
神经网络和反向传播算法
神经元 神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数;而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数。如下图所示: 计算一个神经元的输出的方法和计算一个感知器的输出是一样的。假设神经元的输入是向量x⃗ ,权重向量是w⃗ (偏置项是w0),激活函数是sigmoid函数,则其输出y: y=sigmoid
详解卷积神经网络反向传播
原文地址:http://jermmy.xyz/2017/12/16/2017-12-16-cnn-back-propagation/在一般的全联接神经网络中,我们通过反向传播算法计算参数的导数。BP 算法本质上可以认为是链式法则在矩阵求导上的运用。但 CNN 中的卷积操作则不再是全联接的形式,因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pool...
卷积神经网络反向传播理论推导
本文首先简单介绍CNN的结构,并不作详细介绍,若需要了解推荐看CS231n课程笔记翻译:卷积神经网络笔记。本文只要讲解CNN的反向传播,CNN的反向传播,其实并不是大多所说的和全连接的BP类似,CNN的全连接部分的BP是与它相同,但是CNN中卷积--池化、池化--卷积部分的BP是不一样的,仔细推导,还是有很多细节地方需要思考的,比如1、在前向传播的过程中,卷积层的输入,是通过卷积核与前一层的输出特
神经网络训练中的Tricks之高效BP(反向传播算法)
神经网络训练中的Tricks之高效BP(反向传播算法)zouxy09@qq.comhttp://blog.csdn.net/zouxy09        Tricks!这是一个让人听了充满神秘和好奇的词。对于我们这些所谓的尝试应用机器学习技术解决某些问题的人,更是如此。曾记得,我们绞尽脑汁,搓手顿足,大喊“为什么我跑的模型不work?”,“为什么我实现的效果那么差?”,“为什么我复现的结果没有他论
对BP神经网络的正向传播与反向传播的理解
个人对神经网络的理解,主要是正向传播与反向传播的一个简单的示意图,发现了其中的区别,如有问题,欢迎拍砖!
结合斯坦福深度学习教程 对于BP反向传播算法原理的推导过程解析
最近在对卷积神经网络(CNN)进行学习的过程中,发现自己之前对反向传播算法的理解不够透彻,所以今天专门写篇博客记录一下反向传播算法的推导过程,算是一份备忘录吧,有需要的朋友也可以看一下这篇文章,写的挺不错的:http://www.cnblogs.com/lancelod/p/4164231.html,本文也大量参考了这篇文章。本文在推导过程中忽略了偏置的存在,这样做是为了更简单明晰的阐述BP算法的