sylvia888 2015-01-23 04:37 采纳率: 50%
浏览 3126
已采纳

神经网络算法可能存在的问题?

关于神经网络算法梯度下降法和随机梯度下降法可能存在的问题:
(小白刚注册第一次发帖,原谅没有多少金币。。。还请各路大神多指点,非常感谢!!!)

用梯度下降法修改权值,是当训练集里所有的样本都输入完之后,将所有样本的误差加和来修改权值。总觉得哪地方不对,这样是不是放大了误差对权值的作用?得到的网络不仅仅是不容易找到全局最小值的问题,而且是很不精确?由于不是每个样本输入后都进行一次权值修改,相对于随机梯度下降法优点是计算速度快?

随机梯度下降法每一个样本的输入都会对网络权值进行一次修正,这样最终网络的精确度会不会跟样本的输入顺序有很大关系?会不会本已经修正比较精确的网络,但是却受后面样本修正反而又变得不精确了?

  • 写回答

2条回答 默认 最新

  • shiter 人工智能领域优质创作者 2015-01-23 05:22
    关注

    我也不是太懂,主要看一下斯坦福公开课的第二课吧

    你问的问题比较多,这些算法肯定是存在各种问题的,我觉的肯定是具体问题具体来分析会比较好。
    梯度我理解就是最值化嘛,求解最优就可能有些缺点:
    梯度下降法的缺点是 [1]:

    靠近极小值时速度减慢。
    直线搜索可能会产生一些问题。
    可能会'之字型'地下降。

    –标准梯度下降是在权值更新前对所有样例汇总误差,而随机梯度下降的权值是通过考查某个训练样例来更新的

    –在标准梯度下降中,权值更新的每一步对多个样例求和,需要更多的计算

    –标准梯度下降,由于使用真正的梯度,标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长

    –如果标准误差曲面有多个局部极小值,随机梯度下降有时可能避免陷入这些局部极小值中

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)
编辑
预览

报告相同问题?

悬赏问题

  • ¥30 silcavo仿真,30分钟,只需要代码
  • ¥15 FastReport 怎么实现打印后马上关闭打印预览窗口
  • ¥15 利用3支股票数据估计其均值和方差的95%置信区间。
  • ¥15 微信小程序运行一项功能时,弹出未知错误弹框,检查代码没有问题
  • ¥15 ATAC测序生成self-pseudo replicates之前是否要进行去线粒体reads
  • ¥15 python模糊字匹配函数问题
  • ¥20 谁刷目标页面的uv记录器上数据,数据只记录跳转的数值
  • ¥30 数据库软件的安装方法
  • ¥15 一道以太网数据传输题
  • ¥15 python 下载群辉文件