自注意力空间注意力机制问题

Question

最近写论文用到注意力机制，在看到的论文里基本上注意力机制是例如input-lstm-Attention-outup这么个结构，我想知道如果是对维度上的注意力机制分配，这个结构仿佛是对lstm层节点的一个注意力权重分配，而不是输入的多个变量的权重分配，不是很能理解。
另一个问题是，如果是多维多时间步的数据预测问题，那么注意力权重分配是对时间步的分配，还是维度应用注意力权重的。
实在困扰很久了，感谢各位的回复。
另外是我也看了空间注意力，通道注意力，自注意力，大多是各位博主的文章，还是不是很明白其中的差别，有看到文章使用空间注意力完成对特征重要性的分配，但是不能理解，也有看到使用自注意力机制进行维度分配的，我不能理解其中的差别。
另外有可以推荐相关的paper吗

Answer 1

参考GPT和自己的思路：

针对你的第一个问题，输入-Attention-LSTM-output结构通常是用于序列数据的注意力机制，其中输入是时序输入，LSTM是序列建模的模型，Attention会对序列中的每个时间步进行注意力权重分配，最终输出是LSTM的输出，其中权重分配是针对时序上的节点进行的，而不是输入的多个变量的权重分配。如果你想对维度上的注意力机制进行分配，可以考虑使用Transformer模型，其中自注意力机制可以对输入的每个维度进行注意力分配。

关于多维多时间步的数据预测问题，注意力机制的权重分配可以是对时间步的分配，也可以是对维度的分配，具体取决于你想要解决的问题和模型的架构，需要根据具体情况进行选择。

关于空间注意力、通道注意力和自注意力等的差别，简单来说，它们都是用于注意力机制的不同形式，空间注意力主要用于计算机视觉中的像素级别的注意力权重分配，通道注意力主要用于卷积神经网络中的通道维度的注意力权重分配，而自注意力主要用于对序列数据中的维度进行注意力权重分配。这些形式的注意力机制本质上是类似的，只是应用场景和具体实现有所不同。

如果你想深入了解注意力机制和相关应用领域的研究，可以参考以下论文：

• Attention Is All You Need (Vaswani等人，2017年)
• Non-local Neural Networks (Wang等人，2018年)
• Self-Attention Networks (Parikh等人，2016年)
• CBAM: Convolutional Block Attention Module (Woo等人，2018年)