LSTM loss不下降相关问题

Question

在二分类中，损失函数交叉熵，训练一定轮次后不下降。
loss图像如下 （红train 蓝test）

准确率如下

有什么改进方法可以让loss继续下降
模型中 ：
没有正则化
调节学习率没有改善 （目前设置学习率随训练不断下降）
调节batch size没有改善
增加网络复杂度（lstm层数 隐藏节点个数）没有改善
数据量无法增加
loss使用了加权（权重设置为类别的倒数）

多谢各位指点，不胜感激