深度神经网络在训练时,损失出现epoch级的震荡

我在使用对比自监督算法训练网络时,损失函数出现奇怪的变化趋势。就是在一个epoch中,随着训练进行,损失值会正常下降。训练数据是ImageNet的图像,每个batch的数据是随机选取的。
但是一旦进入下一个epoch,损失值又会突然升高,重新下降。损失值的变化趋势如下图(手画的,请见谅~)。

图片说明

请问大家有遇到相同情况的吗?一般是什么原因造成的呢?

查看全部
lijianyi0219
辣椒油li
2020/10/14 12:49
  • 深度学习
  • 人工智能
  • 神经网络
  • 点赞
  • 收藏
  • 回答
    私信

2个回复