深度学习训练时，一开始损失值就显示nan

Question

训练开始损失值为nan，但是用一半数据进行训练损失值就正常显示，是什么原因呢？

Answer 1

可能的原因有：

1. 数据不全面：原始数据可能存在缺失值或者异常值，而使用较少的数据进行训练会减少数据中的特殊值，减少损失值NaN的出现。
2. 非常大的学习率：使用较大的学习率可能会导致损失值NaN，因为学习率太大，会导致参数太过激进，从而导致训练损失值出现NaN的情况。而用较少的数据训练时可以避免这种情况。
3. 神经网络架构设计错误：深度学习的神经网络参数设计错误会导致训练的损失值NaN。