使用LSTM进行时间序列预测时,把学习率设置为0.0001是否合理?
2条回答 默认 最新
- 爱晚乏客游 2023-03-28 17:02关注
看情况而定。
初始值一般会稍微大一些,以加快收敛速度,后面随着训练拟合的加深,过大的学习率会导致loss震荡,所以一般后续会随着epoch加大而逐渐减少的。
而如果一开始就很小的话,训练速度会很慢,而且某些情况下一开始就很小的学习率会陷入局部最优(通俗比喻就是某个坑(局部最优)步子太小跨不过去)。
而这个也没有一个定值,说大于某个值就是过大,小于某个值就是过小。一般而言,初始值会在0.1~0.001之间(经验值,基本上也都是0.1,0.01,0.001这三个用的多,具体的看训练情况),而且不同的数据集这个值还不一样,得耐心调整然后看训练情况而定。解决 无用评论 打赏 举报 编辑记录
悬赏问题
- ¥15 Windows X86 远线程注入问题解惑
- ¥15 Vs2022安装时黑框闪退无反应
- ¥15 嵌入式设备网口down后再up时不能link?
- ¥15 关于区块链和边缘计算
- ¥15 做一个简单项目,用Python分析共享单车的数据
- ¥20 在使用CESM2.2.0模型进行case.submit过程中出现如下错误(关键词-Map)
- ¥15 有办法改变通过wifi进入的网站的设置吗
- ¥15 label_studio
- ¥15 请教如何phython发邮件
- ¥15 linux系统安装问题