中芯起源 2022-09-06 10:13 采纳率: 20%
浏览 10
已结题

优化神经网络训练方法有哪些？

优化神经网络训练方法有哪些？
请问 使用梯度积累，使用梯度裁剪，除了这二个方法还有别的吗

  • 写回答

2条回答 默认 最新

  • 人工智能技术与咨询 2022-09-06 11:15
    关注

    1 考虑换一种学习率 schedule
    2 在 DataLoader 中使用多个 worker 和页锁定内存
    3 把 batch 调到最大
    4 使用自动混合精度（AMP）
    5 考虑使用另一种优化器
    6 cudNN 基准
    7 使用梯度积累
    8 使用梯度裁剪

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 9月16日
  • 已采纳回答 9月8日
  • 创建了问题 9月6日

悬赏问题

  • ¥15 微信会员卡等级和折扣规则
  • ¥15 微信公众平台自制会员卡可以通过收款码收款码收款进行自动积分吗
  • ¥15 随身WiFi网络灯亮但是没有网络，如何解决？
  • ¥15 gdf格式的脑电数据如何处理matlab
  • ¥20 重新写的代码替换了之后运行hbuliderx就这样了
  • ¥100 监控抖音用户作品更新可以微信公众号提醒
  • ¥15 UE5 如何可以不渲染HDRIBackdrop背景
  • ¥70 2048小游戏毕设项目
  • ¥20 mysql架构，按照姓名分表
  • ¥15 MATLAB实现区间[a,b]上的Gauss-Legendre积分