在T5模型里，怎么不使用teacher forcing换成auto regressive

Question

请问在T5模型里，怎么不使用teacher forcing换成auto regressive？

Answer 1

在T5模型中，使用teacher forcing是为了训练模型，使其在每个时间步都可以观察到正确的前面的标记（ground-truth）并预测下一个标记。这在训练期间可能是有益的，但在实际的生成任务中，你可能希望模型能够在没有前面正确标记的情况下生成后续标记，这称为自回归（auto-regressive）模式。

要在T5模型中使用自回归模式，可以使用“自回归循环”（autoregressive loop）来逐步生成输出。这个循环将输入编码成一个“上下文向量”（context vector），然后用它来预测下一个标记。每次循环中的输入都是前一个标记的嵌入向量（embedding vector）和上下文向量，输出是下一个标记的预测。