以后请叫我一米七二 2021-03-15 16:35 采纳率: 28.6%
浏览 677
已结题

total_loss正常但是val loss出现nan是怎么回事啊?

在修改了原网络的backbone,加入了注意力机制后,在训练过程中total_loss正常但是val loss出现nan是怎么回事啊

  • 写回答

1条回答 默认 最新

  • Neo很努力 2022-07-08 16:02
    关注

    梯度下降的过程中因为中间网络层是随机生成的初始权重,所以梯度下降的过程中可能陷入了局部最优,可以通过调试batchsize或者lr等超参数解决。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 8月8日
  • 已采纳回答 7月31日