关于神经网络算法梯度下降法和随机梯度下降法可能存在的问题:
(小白刚注册第一次发帖,原谅没有多少金币。。。还请各路大神多指点,非常感谢!!!)
用梯度下降法修改权值,是当训练集里所有的样本都输入完之后,将所有样本的误差加和来修改权值。总觉得哪地方不对,这样是不是放大了误差对权值的作用?得到的网络不仅仅是不容易找到全局最小值的问题,而且是很不精确?由于不是每个样本输入后都进行一次权值修改,相对于随机梯度下降法优点是计算速度快?
随机梯度下降法每一个样本的输入都会对网络权值进行一次修正,这样最终网络的精确度会不会跟样本的输入顺序有很大关系?会不会本已经修正比较精确的网络,但是却受后面样本修正反而又变得不精确了?