在用keras+gym测试policy gradient进行小车杆平衡时模型搭建如下:
inputs = Input(shape=(4,),name='ob_inputs')
x = Dense(16,activation='relu')(inputs)
x = Dense(16,activation='relu')(x)
x = Dense(1,activation='sigmoid')(x)
model = Model(inputs=inputs,outputs = x)
这里输出层是一个神经元,输出一个[0,1]之间的数,表示小车动作的概率
但是在代码训练过程中,模型的训练代码为:
X = np.array(states)
y = np.array(list(zip(actions,discount_rewards)))
loss = self.model.train_on_batch(X,y)
这里的target data(y)是一个2维的列表数组,第一列是对应执行的动作,第二列是折扣奖励,那么在训练的时候,神经网络的输出数据和target data的维度不一致,是如何计算loss的呢?会自动去拟合y的第一列数据吗?