中芯起源 2022-09-06 10:13 采纳率: 20%
浏览 10
已结题

优化神经网络训练方法有哪些？

优化神经网络训练方法有哪些？
请问 使用梯度积累，使用梯度裁剪，除了这二个方法还有别的吗

  • 写回答

2条回答 默认 最新

  • 人工智能技术与咨询 2022-09-06 11:15
    关注

    1 考虑换一种学习率 schedule
    2 在 DataLoader 中使用多个 worker 和页锁定内存
    3 把 batch 调到最大
    4 使用自动混合精度（AMP）
    5 考虑使用另一种优化器
    6 cudNN 基准
    7 使用梯度积累
    8 使用梯度裁剪

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 9月16日
  • 已采纳回答 9月8日
  • 创建了问题 9月6日