神经网络loss不下降问题 5C

图片说明
如图,使用lstm做预测loss始终不下降。从一开始就在震荡。想知道原因。

0

2个回答

调参没有调好,lstm的unit太大或者太小,用的损失函数不对,如果是分类,用交叉熵,如果是回归,用mse/mae,batch size太大或者太小,数据导入不对,比如维度错了。
用错激活函数,各种激活函数,sigmoid、relu、tanh都试试看,优化器错误或者参数选择不当,比如建议你用adam,如果用sgd,看看学习率lr是不是过大。
数据本身是难以学习的,比如你lstm去学习随机白噪声曲线,肯定学不出来。

0

谢谢回答。我做的是回归,用的mse.优化器用adam。
剩下的那些参数都在调试中。再试一下把。谢谢啦

0
qq_30450813
qq_30450813 你好,你的问题解决了吗?这是不是过拟合了呢?
大约 2 个月之前 回复
LaoChengZier
翻滚的老鼠屎 回复caozhy: 好的 谢谢
6 个月之前 回复
caozhy
操作员马善福(贵阳专业挖机) 你可以找一个例子数据集,先排除下数据的问题,或者找一个例子程序,排除下你程序的问题
6 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
神经网络训练loss不下降原因集合
train loss与test loss结果分析 train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test loss不断下降,说明数据集100%有问题; train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批...
分类神经网络把所有的input只能分成一类的原因/神经网络不能收敛/神经网络loss很大不下降
之前出现过两次这种情况,也就是出现这类情况,对于所有的输入,网络都只能判断成某一类,比如对于所有的输入,输出都是“猫”。还是总结下,当然如果有幸被大佬们看到的话,希望大佬们能给予补充。 做了一点实验,但是不是非常的全面,也没有考虑到每一种情况,而且对于参数的选择也比较随意。所以这个博客的结论是根据作者所采用的网络,一开始设置的超参得出的结论,仅供参考。 一、网络结构 本次实验采用的数据集是c...
Loss和神经网络训练
出处:http://blog.csdn.net/han_xiaoyang/article/details/50521064  声明:版权所有,转载请联系作者并注明出处 1.训练 在前一节当中我们讨论了神经网络静态的部分:包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分,主要是训练的事情,集中在实际工程实践训练过程中要注意的一些点,如何找到最合适的
pytorch训练神经网络loss刚开始下降后来停止下降的原因
问题提出:用pytorch训练VGG16分类,loss从0.69下降到0.24就开始小幅度震荡,不管如何调整batch_size和learning_rate都无法解决。 原因:没有加载预训练模型 那么问题来了,官方给出的是1000类的ImageNet预训练模型    https://download.pytorch.org/models/vgg16-397923af.pth,而我要做的是20类...
对于loss持续不降,DEBUG
神经网络具有两大能力:一、学习能力,指在训练集上精度。二、泛化能力,指在测试集上精度。对于一个大型神经网络在一个大数据集上跑,LOSS持续不降,第一步先减小数据量,比方说只在单张图片上跑,使用小epochsize,观察每次LOSS下降情况,此时如果LOSS还是不下降说明网络没有学习能力,应该调整模型,一般是先把网络规模缩小,因为任何一个网络都会有学习能力,然而此时你的网络没有学习能力,则一定是你的...
TensorFlow神经网络模型不收敛的处理
1、learning rate设大了0.1~0.0001.不同模型不同任务最优的lr都不一样。我现在越来越不明白TensorFlow了,我设置训练次数很大的时候,它一开始就给我“收敛”到一个值,后面的值都一样。2、归一化参考: 深度学习收敛问题; 训练深度神经网络
loss 在2左右波动,准确率低
用的全连接神经网络,识别图片。训练集上loss一直在2.0左右波动。准确率0-0.5跳动。 训练集上准确率10%左右。训练集有图片320张,测试集70张。是我的模型出问题了还是数据集太小? 实在是不知道哪出错了,一般什么样的错误会出现这种情况??? ...
训练的神经网络不工作?一文带你跨过这37个坑
近日,Slav Ivanov 在 Medium 上发表了一篇题为《37 Reasons why your Neural Network is not working》的文章,从四个方面(数据集、数据归一化/增强、实现、训练),对自己长久以来的神经网络调试经验做了 37 条总结,并穿插了不少出色的个人想法和思考,希望能帮助你跨过神经网络训练中的 37 个大坑。神经网络已经持续训练了 12 个小时。它看
神经网络loss
loss function smooth L1 loss 公式如下: f(x)={(σx)2/2,|x|−0.5/σ2,if x<1/σ2otherwisef(x)={(σx)2/2,if x<1/σ2|x|−0.5/σ2,otherwise\begin{split}f(x) = \begin{cases} (\sigma x)^2/2,& \tex...
深度网络的过拟合问题讨论
最近做深度学习实验的时候遇到了一个很棘手的问题,那就是大名鼎鼎的“过拟合”,本博客主要是围绕这个问题展开的。
对于上次YOLO的一些遗留问题做一下解释
对于上次YOLO的一些遗留问题做一下解释 tianbing010@126.com http://www.cnblogs.com/mcjj 作者:马春杰杰 2017年6月14日22:36:58 博客已迁至[马春杰杰]http://www.machunjie.com/deeplearning/33.html 请移步新博客,谢谢。! ...
caffe训练CNN时,loss不收敛原因分析
人工智能/机器学习/深度学习交流QQ群:964753462 也可以扫一扫下面二维码加入微信群,如果二维码失效,可以添加博主个人微信,拉你进群 1. 数据和标签 数据分类标注是否准确?数据是否干净? 另外博主经历过自己创建数据的时候数据标签设置为1,2,...,N,训练的时候最后FC层设置的输出output num为N。训练的时候loss一直不降。后来将标签改为0,1,2,...,N-1...
训练过程中常见问题总结
问题1:Loss下降,但accuracy(或auc)不升。 解答:正常,Loss和acc计算方式不同,是两个完全不同的东西。acc只关心预测正确,而不关心正确的程度(比如预测狗和猫,不论模型预测是猫的概率是51%还是99%,对acc来说是一样的)。但是loss函数(如cross_entropy_loss)考虑了预测的正确程度。所以会出现预测正确的数量不变,但是正确的置信度越来越高了。 问题2:Lo...
解决Caffe训练过程中loss不变问题
caffe中loss保持87.33和0.69的解决办法
深度神经网络训练的技巧
这里主要介绍8中实现细节的技巧或tricks:数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法。 1.       数据增广 在不改变图像类别的情况下,增加数据量,能提高模型的泛化能力 自然图像的数据增广方式包括很多,如常用的水平翻转(horizontally flipping),一定程度的位移或者裁剪和
深度学习与计算机视觉系列(8)_神经网络训练与注意点
在前一节当中我们讨论了神经网络静态的部分:包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分,主要是训练的事情,集中在实际工程实践训练过程中要注意的一些点,如何找到最合适的参数。
使用Pytorch训练过程中loss不下降的一种可能原因
在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。下面是我的代码: loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = mod...
keras GAN训练是loss不发生变化,accuracy一直为0.5
可能是激活层的激活方式与损失函数不匹配。 一般使用sigmoid,损失函数使用binary_crossentropy ;使用softmax,损失函数使用categorical_crossentropy。 作者:Yohanna 链接:https://www.zhihu.com/question/36307214/answer/364963552 来源:知乎 著作权归作者所有。商业转载请联系作者获...
在Pytorch下,由于反向传播设置错误导致 loss不下降的原因及解决方案*
在Pytorch下,由于反向传播设置错误导致 loss不下降的原因及解决方案 本人研究生渣渣一枚,第一次写博客,请各路大神多多包含。刚刚接触深度学习一段时间,一直在研究计算机视觉方面,现在也在尝试实现自己的idea,从中也遇见了一些问题,这次就专门写一下,自己由于在反向传播(backward)过程中参数没有设置好,而导致的loss不下降的原因。 对于多个网络交替 【描述】简单描述一下我的网络结构,...
loss不下降,训不动
可能是学习率太大, 但也有可能也是因为数据给错了。。
tenorflow accuracy一直不变,loss一直降低的问题
网络训练时,正确率会一直出现概率等分的情况,使网络无法学习到。 forward = t0f.matmul(Y4, W5)+b5 pred = tf.nn.softmax(forward) #softmax #损失函数为交叉熵, log(0) 附近会造成不稳定 loss_function = tf.reduce_mean(tf.nn.softmax_cross_entropy_w...
训练过程--对loss和acc的分析、处理
  计算loss是会把所有loss层的loss相加。 从验证集误差是和测试集误差的角度分析   其实你这个问题就是个伪命题,如果我们刻意的去在训练集上拟合模型,使其准确率达到很高的高度,或者说尽量在验证集合上表现的好,都是相悖的。   因为我们不能为了某一特定数据集来刻意拟合,因为模型预测数据是不一定就在这个训练或者验证集合的空间中。   还有,如果这个model预测集合acc20% 训练集合a...
运行网络时,loss始终不下降,MAE保持在0.5
网络问题 数据问题 经过排查,发现使用next_batch()函数取出的数据有问题,因为输入数据大小不一致,所以我使用 list() 来保存数据,因此读取出来的数据形式是list,导致上述问题 ...
训练网络出现loss突然上升或者直接NaN......
粗略写一下: 解决方式,把初始化方式换掉。。。我们之前用的切断正态分布,,现在考虑下: http://blog.csdn.net/shuzfan/article/details/51338178 经验说: 1.一般我们都会用优秀的modelzoo参数初始化我们的参数,可能是这个参数值过大的问题。 2.不恰当的loss函数。 待续......
keras做CNN的训练误差loss的下降
采用二值判断如果确认是噪声,用该点上面一个灰度进行替换。 噪声点处理:对原点周围的八个点进行扫描,比较。当该点像素值与周围8个点的值小于N时,此点为噪点 。 处理后的文件大小只有原文件小的三分之一,前后的图片内容肉眼几乎无法察觉。 但是这样处理后图片放入CNN中在其他条件不变的情况下,模型loss无法下降,二分类图片,loss一直在8-9之间。准确率维持在0.5,同时,测试集的训练误差持续下...
训练loss不下降原因集合
一,train loss与test loss结果分析4666train loss 不断下降,test loss不断下降,说明网络仍在学习;train loss 不断下降,test loss趋于不变,说明网络过拟合;train loss 趋于不变,test loss不断下降,说明数据集100%有问题;train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数...
使用caffe训练CNN,Loss不下降,维持在某个数字-log(类别数)
这也是困扰我一段时间的问题,loss不下降,一直在找其他的原因,权重初始化从gaussian到xiavier,查看了反向传播的diff后,总觉得梯度消失了,还想着加上BN层。 以上统统没有效果,为什么呐? 数据没有shuffle!每一个minibatch几乎都是同一类,这样必然出现大问题。 为什么呐? caffe中的优化方法默认是SGD,这里的SGD其实是minibatch-SGD算法,计
loss值不变时
loss和accuracy不变时 1、降低学习率(已验证) 2、减小初始化权重 3、如果有BN(batch normalization)层,finetune时最好不要冻结BN的参数,否则数据分布不一致时很容易使输出值变得很大(注意将batch_norm_param中的use_global_stats设置为false )。 4、观察数据中是否有异常样本或异常label导致数据读取异常 ...
keras神经网络常见问题-mse, nmse
1. the History callback gives only loss and acc for each epoch, how can I get the loss for each batch ? predict = model.predict(batch) loss = MSE(batch,predict) or Here's a simple example
【调参之损失函数】train loss 和 test loss 一直不下降
正常情况: train loss 不断下降,test loss不断下降,说明网络仍在学习; 异常情况: train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test loss不断下降,说明数据集100%有问题; train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目; train ...
深度学习caffe日志的损失Loss曲线(m文件)
欢迎下载,画出训练模型时的Train和Validate的Loss曲线
loss和accuracy的关系
http://www.cnblogs.com/dengdan890730/p/6132937.html
train-loss和test-loss之间关系:网络学习情况
train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test loss不断下降,说明数据集100%有问题; train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目; train loss 不断上升,test
深度学习面试100题(第86-90题)
点击上方蓝字关注深度学习面试100题(第86-90题)86在感知机中(Perceptron)的任务顺序是什么?1、随机初始化感知机的权重2、去到数据集的下一批(batch...
Tensorflow中用VGG19做二分类loss出现0.693174解决方法2
接上次相同题目的blog,发现权重加了l2正则化后,开始的loss很大,逐渐收敛到0.693174后不变……在Tensorflow下用VGG19 pre-train的model跑一个人脸表情库,做一个二分类。 出现loss除了迭代的第一个值,其余输出均是0.693174 我用的梯度下降函数是Adam解决方法: 将梯度下降函数改为SGD+Momentum(0.9) 开始时loss在0.69
Loss曲线振荡分析
Loss曲线振荡: 分析原因:  1:训练的batch_size太小   1.       当数据量足够大的时候可以适当的减小batch_size,由于数据量太大,内存不够。但盲目减少会导致无法收敛,batch_size=1时为在线学习。 2.  batch的选择,首先决定的是下降方向,如果数据集比较小,则完全可以采用全数据集的形式。这样做的好处有两点,     1)全数据集的方向能够更...
[深度学习] loss不下降的解决方法
当我们训练一个神经网络模型的时候,我们经常会遇到这样的一个头疼的问题,那就是,神经网络模型的loss值不下降,以致我们无法训练,或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多,而且,更普遍的来说,loss不下降一般分为三种,即:训练集上loss不下降,验证集上loss不下降,和测试集上loss不下降。这里,首先默认各位都能理解过拟合和欠拟合的概念。 训练集loss不下降 ...
Caffe训练时Loss不下降问题
文章作者:Tyan 博客:noahsnail.com  |  CSDN  |  简书 1. 问题描述 今天使用Caffe进行分类模型训练时,迭代到一定次数后loss突然增大到某个固定值,然后保持不变。日志如下: I0705 14:57:14.980687 320 solver.cpp:218] Iteration 44 (2.60643 ...
训练集、测试集loss容易出现的问题总结
                   训练集、测试集loss容易出现的问题总结 train loss 不断下降,test loss不断下降:说明网络仍在学习; train loss 不断下降,test loss趋于不变:说明网络过拟合; train loss 趋于不变,test loss不断下降:说明数据集100%有问题; train loss 趋于不变,test loss趋于不变:说明学...
YOLO的Loss中为什么要对不含目标的检测框设置较小权值?
在YOLO v1中,loss里对不含目标(no object)的检测框(bounding box)进行了权值 λnoobj 的设置(0.5),在原文中解释为 Also, in every image many grid cells do not contain any object. This pushes the “confidence” scores of those cells towar...
文章热词 设计制作学习 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 机器学习神经网络视频教程 神经网络python教程