total_loss正常但是val loss出现nan是怎么回事啊？

Question

在修改了原网络的backbone，加入了注意力机制后，在训练过程中total_loss正常但是val loss出现nan是怎么回事啊

Answer 1

梯度下降的过程中因为中间网络层是随机生成的初始权重，所以梯度下降的过程中可能陷入了局部最优，可以通过调试batchsize或者lr等超参数解决。