为什么使用LSTM进行时间序列预测时，把学习率设置为0.0001是否合理？

Question

使用LSTM进行时间序列预测时，把学习率设置为0.0001是否合理？

Answer 1

看情况而定。
初始值一般会稍微大一些，以加快收敛速度，后面随着训练拟合的加深，过大的学习率会导致loss震荡，所以一般后续会随着epoch加大而逐渐减少的。
而如果一开始就很小的话，训练速度会很慢，而且某些情况下一开始就很小的学习率会陷入局部最优（通俗比喻就是某个坑（局部最优）步子太小跨不过去）。
而这个也没有一个定值，说大于某个值就是过大，小于某个值就是过小。一般而言，初始值会在0.1~0.001之间（经验值，基本上也都是0.1，0.01，0.001这三个用的多，具体的看训练情况），而且不同的数据集这个值还不一样，得耐心调整然后看训练情况而定。