卷积神经网络训练loss变为nan

卷积神经网络训练,用的是mnist数据集,第一次训练前损失函数还是一个值,训练一次之后就变成nan了,使用的损失函数是ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1)),cem = tf.reduce.mean(ce),应该不会出现真数为零或负的情况,而且训练前loss是存在的,只是训练后变为nan,求各位大牛答疑解惑,感激不尽。图片说明图片说明图片说明

1个回答

你怎么训练的,有时候损失层中loss的计算可能导致NaN的出现或者梯度过大的话会导致Nan出现,建议检查激活函数的选择是不是好的,换换激活函数试试

weixin_44505695
PRO-GRAMMER 换了激活函数依然出现同样问题
一年多之前 回复
weixin_44505695
PRO-GRAMMER 这套代码在别人的电脑上就正确运行,但他的是python2.7,而我是3.7
一年多之前 回复
weixin_44505695
PRO-GRAMMER 激活函数用的是relu,loss使用的softmax求交叉熵
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐