关于神经网络算法梯度下降法和随机梯度下降法可能存在的问题：
（小白刚注册第一次发帖，原谅没有多少金币。。。还请各路大神多指点，非常感谢！！！）
用梯度下降法修改权值，是当训练集里所有的样本都输入完之后，将所有样本的误差加和来修改权值。总觉得哪地方不对，这样是不是放大了误差对权值的作用？得到的网络不仅仅是不容易找到全局最小值的问题，而且是很不精确？由于不是每个样本输入后都进行一次权值修改，相对于随机梯度下降法优点是计算速度快？
随机梯度下降法每一个样本的输入都会对网络权值进行一次修正，这样最终网络的精确度会不会跟样本的输入顺序有很大关系？会不会本已经修正比较精确的网络，但是却受后面样本修正反而又变得不精确了？
分享
关注我也不是太懂，主要看一下斯坦福公开课的第二课吧
你问的问题比较多，这些算法肯定是存在各种问题的，我觉的肯定是具体问题具体来分析会比较好。
梯度我理解就是最值化嘛，求解最优就可能有些缺点：
梯度下降法的缺点是 [1]:
靠近极小值时速度减慢。
直线搜索可能会产生一些问题。
可能会'之字型'地下降。
–标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的
–在标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算
–标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长
–如果标准误差曲面有多个局部极小值，随机梯度下降有时可能避免陷入这些局部极小值中
分享
