Embedding层越界错误

Question

在self.embeddings(text)Embedding层出错 IndexError: index out of range in self。
我检查了是否是索引越界的问题，但是每批次中最大值为31100，而我的num_embedding设置为31101.所以没有发生越界，所以我不知道在哪里出了问题？求各位指点

Answer 1

该回答引用ChatGPT
可能是因为你的输入文本中存在超出你的词汇表大小的词语，导致Embedding层无法找到对应的词向量。你可以尝试将num_embeddings设置为更大的值，或者检查一下你的词汇表是否包含了所有的词语。另外，你也可以在Embedding层中添加padding_idx参数，将超出词汇表大小的词语映射到padding_idx对应的词向量上，避免出现IndexError错误。