使用强化学习PPO算法跑智能网联车轨迹规划，参数如下：
actor_lr = 1e-4 # 策略网络的学习率
critic_lr = 5e-4 # 价值网络的学习率
n_hiddens = 16 # 隐含层神经元个数
n_states = 12 # 状态数 12
n_actions = 1 # 动作空间 -0.2 ~ +0.2
奖励值做了归一化[-1, 1]，状态向量类似于：
[20, 13.89, 13.812175596761518, 26.048195602071445, 15.467263388223945, 17.1, 0, 0, 0, 0, 1, 0.1267255060602713]
[20, 13.89, 13.749945521699265, 26.20930636256557, 15.361053126640616, 17.0, 0, 0, 0, 0, 1, 0.06528129355370879]
使用xavier初始化网络权重，激活函数使用tanh，训练发现critic网络损失波动下降，actor网络损失先升后降，但是reward曲线（每一幕的平均reward）始终震荡不上升，想请教一下是什么原因。
