关于#sentencepiece#的问题，如何解决？

Question

#问题

#尝试了以下两种方法
（1）pip install sentencepiece
（2）uninstall transformers → pip install --no-cache-dir transformers sentencepiece → Use_fast= False like this: tokenizer = AutoTokenizer.from_pretrained(“XXXXX”, use_fast=False)

#结果
通通无效T_T，有时候真的想报警，jiu jiu hai zi 吧！

Answer 1

1.首先 先安装库

pip install sentencepiece

2.直接使用特定的tokenizer类，例如RobertaTokenizer，而不是AutoTokenizer

from transformers import RobertaTokenizer
tokenizer = RobertaTokenizer.from_pretrained('model_name', use_fast=False)

将'model_name'替换为你实际要加载的模型名称。