当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？

Question

当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？
当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？

Answer 1

如果这种数据占比较少，直接舍去，如果占比较多，可以尝试使用transformer-xl模型。