sky_learn 2021-11-25 20:51 采纳率: 0%
浏览 14

神经网络实现多分类，反向传播后数据变为整数，导致梯度下降停止，能给个debug思路吗

我使用了四层神经网络实现多分类问题，激活函数使用的是ReLU函数，最后一层使用的是softmax层。在反向传播后参数的小数位置会缺失，导致梯度难以有效下降。我尝试将原本所有的list都改为numpy的矩阵形式，但没有解决，也未找到其他解决方法。有人遇到过相关问题吗？或者能否给一个修改方向？感谢。
或者说有无不让参数的小数部分被截断的方法？

  • 写回答

1条回答 默认 最新

  • 「已注销」 2021-11-28 10:40
    关注

    从训练样本集中，抽取一批(batch)训练样本，通过整批数据的矩阵运算，得到这批样本损失的均值，减少更新梯度的次数提高训练效率

    评论

报告相同问题？

问题事件

  • 创建了问题 11月25日

悬赏问题

  • ¥15 使用dify通过OpenAI 的API keys添加OpenAI模型时报了“Connection Error”错误
  • ¥15 请帮我看一下问题出在哪里
  • ¥15 如何解决图中的问题，localhost现实无法访问此页面
  • ¥40 想找个软件，但我不知道怎么找到它，我甚至不知道有没有
  • ¥15 怎么把60秒的视频时长改成显示0秒？且视频内容没有任何变化的正常播放？目的是为了解决一些平台对视频时长的要求，最好有自动处理的工具！
  • ¥15 累加器设初值为00H
  • ¥15 webAPI接口返回值判断
  • ¥15 自动化测试 UI Automtion
  • ¥20 关于#深度学习#的问题：2708）输出：邻接矩阵A 或者 节点索引方式：通过随机游走或者其他方式，保持节点连接类似下图(语言-python)
  • ¥15 win11 24h2 专业工作站版 右键打印怎样删除