请教LSTM遗忘门的实现问题

Question

请教一个关于LSTM的问题。lstm的实现中，遗忘门的输入为上一时刻h和本次x，这两个张量到底是应该先torch.cat再做加权运算呢，还是应该每个张量分别加权再相加呢？

参考相关描述，x和h进行concatenate操作，然而h和x是不共享权值的，如果先做cat操作的话，那不是共享权值了吗？

Answer 1

在LSTM（长短时记忆网络）的实现中，遗忘门的输入通常是上一时刻的隐藏状态（h）和当前时刻的输入（x）的元素级组合，然后再进行加权运算。

具体来说，通常是先将上一时刻的隐藏状态（h）和当前时刻的输入（x）按元素级别进行连接（concatenate），然后将连接后的结果输入到一个全连接层（或称为线性层）中，以计算遗忘门的输出。这个全连接层会有权重矩阵和偏置项，用来学习如何加权这两个输入。

所以，整个流程可以概括为以下步骤：

将上一时刻的隐藏状态（h）和当前时刻的输入（x）按元素级别连接（concatenate）起来。
将连接后的结果输入到一个全连接层，该全连接层具有权重矩阵和偏置项。
全连接层的输出经过一个激活函数（通常是sigmoid函数）以产生遗忘门的输出。
这种方式可以让模型学习如何同时考虑上一时刻的信息和当前时刻的输入，以确定需要遗忘多少上一时刻的信息。这正是LSTM网络的一个关键特性，使其能够有效地处理长序列依赖关系。