Masked-Self-Attention 的作用有两种解释，该信谁？

Question

Masked-Self-Attention 的作用有两种解释，到底该信谁？

我很喜欢其中一个解释：“decoder会attend 到已经产生出来的 sequence，因为还没有产生出来的无法做attention。” 可是有人说：“如果不mask，那attention后面的词的时候前面已经预测的词会跟着变化。”我觉得他们理解错了。

你们觉得呢？

Answer 1

第一种说的就很明白，第二种不理解。