中芯起源 2022-09-06 10:13 采纳率: 20%
浏览 10
已结题

优化神经网络训练方法有哪些？

优化神经网络训练方法有哪些？
请问 使用梯度积累，使用梯度裁剪，除了这二个方法还有别的吗

  • 写回答

2条回答 默认 最新

  • 人工智能技术与咨询 2022-09-06 11:15
    关注

    1 考虑换一种学习率 schedule
    2 在 DataLoader 中使用多个 worker 和页锁定内存
    3 把 batch 调到最大
    4 使用自动混合精度（AMP）
    5 考虑使用另一种优化器
    6 cudNN 基准
    7 使用梯度积累
    8 使用梯度裁剪

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 9月16日
  • 已采纳回答 9月8日
  • 创建了问题 9月6日

悬赏问题

  • ¥15 像这种代码要怎么跑起来？
  • ¥15 怎么改成循环输入删除(语言-c语言)
  • ¥15 安卓C读取/dev/fastpipe屏幕像素数据
  • ¥15 pyqt5tools安装失败
  • ¥15 mmdetection
  • ¥15 nginx代理报502的错误
  • ¥100 当AWR1843发送完设置的固定帧后，如何使其再发送第一次的帧
  • ¥15 图示五个参数的模型校正是用什么方法做出来的。如何建立其他模型
  • ¥100 描述一下元器件的基本功能，pcba板的基本原理
  • ¥15 STM32无法向设备写入固件