pytorch clip_grad_norm_剪裁梯度能解决dropout=0.5带来的loss损失波动收敛过慢的问题吗

Question

用pytorch 在做LSTM，为了有泛化能力，dropout设定为0.5.但是这样训练损失下降会出现波动，过程中突然损失巨大。请问用剪裁梯度的问题能解决这个问题吗。或者说dropout导致的不稳定有没有解决办法。优化器是adamw，学习率1e-4 weight_decay=1e-3 。
_回归问题mse损失函数。

Answer 1

https://blog.csdn.net/u013685264/article/details/106516417/