Transformers解决机器翻译任务

Question

hello hello 打扰了 就是我使用这个语句with tokenizer.as_target_tokenizer(): labels = tokenizer( batch_targets, padding=True, max_length=max_target_length, truncation=True, return_tensors="pt" )报错显示as_target_tokenizer已经弃用了可以使用text_target这个argument替换 为什么我这个回报错呢 跟我的transformers或者其他什么包的版本有关吗 我已经找了好多方法都不行 请问你知道怎么解决这个问题吗

Answer 1

你好！根据你提供的信息，出现这个报错的原因可能是你使用的 transformers 版本过新，其中的 as_target_tokenizer 已被弃用，应该使用 text2text_generate 或 text2text_tokenizer 这两个参数中的一个来替代。

你可以尝试使用以下代码来替换你之前的代码段：labels = tokenizer.batch_encode_plus(batch_targets, padding=True, max_length=max_target_length, truncation=True, return_tensors="pt", text2text_generate=True)
这里使用了 text2text_generate=True 来表示使用文本生成任务的 tokenizer。

如果你的 transformers 版本比较老，可能不支持这个参数，你可以升级 transformers 包的版本来解决这个问题。

希望这个回答能对你有所帮助！