模型训练过程中loss会突然上升然后下降，然后循环这种状态，什么原因呢？

模型训练过程中loss会突然上升然后下降，然后循环这种状态，这是什么原因呢？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

3条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
threenewbee 2019-06-20 11:00
关注
这很正常，因为调整权重的过程中，可能某个因素的突变会影响整个全局很多，然后再找到新的值继续降低梯度。要更多的训练看是不是过拟合

解决 3

无用 3
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

语义分割模型训练，发现验证集的loss值震荡，而精度却正常提升，这是怎么回事？？ python 人工智能机器学习深度学习神经网络
2020-03-09 08:35

回答 1 已采纳现象很正常啊，遇到陌生的数据损失肯定会高，loss肯定是在震荡但整体呈下降趋势的
keras训练二分类模型acc一直0.5 loss一直是0.69怎么办? tensorflow 人工智能深度学习
2021-03-18 16:11

回答 2 已采纳帮你改了下代码，路径你自己再改改，验证集acc能跑到0.8以上了。 import os import tensorflow as tf from tensorflow.keras import S
keras模型在用fit训练的时候，如何给loss乘一个数值（张量）然后BP更新网络参数呢？ keras 机器学习深度学习
2021-12-02 19:03

回答 1 已采纳建议将模型继承keras.Model来写一个自定义模型，在定义训练步骤里写如何计算损失，这样的模型仍然可以使用fit方法来训练
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
2022-02-12 12:20

ytusdc的博客相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习...
YOLOV5-6.0obj_loss上升 python 人工智能深度学习
2022-04-07 22:15

回答 1 已采纳你用的预训练模型还是直接初始化的模型？看样子只能说你的数据集整体的loss比你用的预训练模型或者初始化模型高而已，整体是正常的就行
CNN训练时，为什么每次训练的loss没有持续下降的趋势 cnn pytorch 神经网络
2022-02-07 14:29

回答 2 已采纳你是指每个epoch对不同的数据集还是对同一个数据集训练loss没有下降，这是两回事每个epoch对不同数据集的话，那我无话可说，你开心就好对同一个数据集loss没有下降，那是应为你这才几个epoch
tensorflow中fit过程中loss得shape是怎么样得？ tensorflow
2020-05-24 15:03

回答 1 已采纳是batch上的平均损失而不是所有数据 https://www.jianshu.com/p/005d05e18c7d
Python 打印模型训练过程 —— 使用 tqdm 库绘制进度条
2023-06-26 01:13

禅与计算机程序设计艺术的博客是中一个快速可扩展的进度条，可以在长循环中添加进度提示信息。在阿拉伯语中含义是“进步”，在西班牙语中是“我很爱你()”的缩写（将tqdm是可以分配给tqdm一个变量手动控制更新，此时需要在循环结束后关闭该变量。...
tensorflow 中怎么查看训练好的模型的参数呢？ tensorflow 神经网络
2018-09-18 03:37

回答 2 已采纳 https://blog.csdn.net/zwwhsxq/article/details/80525016 https://blog.csdn.net/AManFromEarth/article/
使用Keras编写的LSTM，训练时出现loss: nan - val_loss: nan，该如何调整？ keras lstm 有问必答深度学习
2022-05-03 18:40

回答 2 已采纳原数据第一列是时间形式的20220503这种，在读数据之后进行下面操作，你的数据是简单的1 2 34这种，数据可能在处理过程丢失或者变成nan了，你可以一步步看看每次处理后当前的数据现在是什么格式 d
请问图中是什么情况，训练集和测试集准确率、loss值变化不大 python tensorflow 深度学习神经网络自然语言处理
2020-05-07 13:18

回答 3 已采纳验证的正确率刚开始就接近1？你用的是一个已经训练好的模型吗？
详谈大模型训练和推理优化技术
2023-05-19 18:03

华师数据学院·王嘉宁的博客本文介绍大模型的训练和推理优化技术，包括混合精度训练、分布式训练DeepSpeed、INT8模型量化、参数有效性学习、混合专家训练、梯度检查点、梯度累积、Flash Attention等。
tensorflow自定义的损失函数 focal_loss出现inf，在训练过程中出现inf tensorflow 深度学习神经网络
2019-05-05 14:51

回答 1 已采纳解决方法 ``` def focal_loss_calc(alpha=0.25, gamma=2., epsilon=1e-6): """ focal loss used for tra
【MindSpore易点通】模型训练中的梯度下降
2022-09-09 10:24

xiao | yang的博客在机器学习和深度学习中，需要对训练中的模型构建损失函数，这样才能在训练过程中找到最优的参数。梯度下降法是较常使用的优化算法，在求解过程中，需要求解损失函数的一阶导数。从loss的某一点出发；找到当前最陡的...
【AI大模型】训练Al大模型
2023-08-17 18:46

洁洁！的博客目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。
没有解决我的问题, 去提问

悬赏问题

¥15 outlook无法配置成功
¥15 Pwm双极模式H桥驱动控制电机
¥30 这是哪个作者做的宝宝起名网站
¥60 版本过低apk如何修改可以兼容新的安卓系统
¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
¥50 有数据，怎么建立模型求影响全要素生产率的因素
¥50 有数据，怎么用matlab求全要素生产率
¥15 TI的insta-spin例程
¥15 完成下列问题完成下列问题
¥15 C#算法问题, 不知道怎么处理这个数据的转换

模型训练过程中loss会突然上升然后下降，然后循环这种状态，什么原因呢？

3条回答 默认 最新

悬赏问题

3条回答默认最新