计算机视觉中transformer的tgt究竟如何理解呢

Question

请问transformer中的tgt是什么意思？如maskformer中的TransformerDecoderLayer类中，前向传播代码如下

    def forward_post(
        self,
        tgt,
        memory,
        tgt_mask: Optional[Tensor] = None,
        memory_mask: Optional[Tensor] = None,
        tgt_key_padding_mask: Optional[Tensor] = None,
        memory_key_padding_mask: Optional[Tensor] = None,
        pos: Optional[Tensor] = None,
        query_pos: Optional[Tensor] = None,
    ):
        q = k = self.with_pos_embed(tgt, query_pos)
        tgt2 = self.self_attn(
            q, k, value=tgt, attn_mask=tgt_mask, key_padding_mask=tgt_key_padding_mask
        )[0]
        tgt = tgt + self.dropout1(tgt2)
        tgt = self.norm1(tgt)
        tgt2 = self.multihead_attn(
            query=self.with_pos_embed(tgt, query_pos),
            key=self.with_pos_embed(memory, pos),
            value=memory,
            attn_mask=memory_mask,
            key_padding_mask=memory_key_padding_mask,
        )[0]
        tgt = tgt + self.dropout2(tgt2)
        tgt = self.norm2(tgt)
        tgt2 = self.linear2(self.dropout(self.activation(self.linear1(tgt))))
        tgt = tgt + self.dropout3(tgt2)
        tgt = self.norm3(tgt)
        return tgt

其中，tgt一开始是全0的Tensor，将其6次经过TransformerDecoderLayer类。我不太理解，为什么将它加上位置编码，然后同时作为q、k、v传入自注意力，再作为q、k与作为v的特征图一起传入多头注意力中？

Answer 1

引自免费微信小程序：皆我百晓生

在Transformer模型中，tgt通常代表输入序列（target sequence），这个概念源于机器翻译任务，其中目标序列是你正在尝试预测的句子。但在其他计算机视觉应用中，比如分割、检测等，tgt可能代表的是一个空的、全零的张量，用于接收从编码器传递过来的信息，并通过解码器进行处理，最终生成相应的输出。

在这个特定的代码片段里，来自MaskFormer的TransformerDecoderLayer，tgt首先被添加了位置编码(pos_embed)，这一步是为了给模型提供关于输入序列中每个元素相对位置的信息。位置编码通常是通过学习得到的一组固定长度的向量，可以是绝对位置编码（告知模型每个位置的实际位置）或相对位置编码（告知模型元素间的相对距离）。这里使用with_pos_embed()函数为输入添加位置编码。

在自注意力模块中，q（query）、k（key）和v（value）都由tgt和query_pos（查询的位置信息）构建而来。这样做是因为自注意力层计算了输入序列中所有位置之间的关系，以便模型能够理解整个序列的上下文。因此，每个位置的查询不仅考虑其自身的值，还考虑序列中所有其他位置的信息。

接下来，自注意力层的输出与原始的tgt相加，然后通过一个归一化层（self.norm1()）进行规范化。这是常见的残差连接结构，有助于缓解梯度消失的问题。

之后，进入多头注意力模块，这里的查询仍然是带位置编码的tgt，而键和值则来自编码器输出的内存（memory）和对应的全局位置编码(pos)。这是因为多头注意力模块关注的是输入序列（tgt）与之前编码过的源序列（memory）之间的交互。这部分的目的是利用编码器捕获的全局信息来指导解码器的输出。

最后，经过一系列线性变换、激活函数以及额外的残差连接和归一化操作后，解码器产生最终的输出，这个输出会再次成为下一个时间步的输入，直到达到预设的最大解码步骤数或者满足某个终止条件。

总结一下，tgt在Transformer解码器中的角色是充当当前时间步的输入，它不断通过自我注意和跨模态注意来更新自身，逐步生成最终的输出。通过添加位置编码，模型能理解和利用输入序列的时间顺序信息。