lbt162020 2022-02-24 14:02 采纳率: 68.8%
浏览 539
已结题

怎么加载从huggingface拉下来的模型代码

img


这是我从huggingface上保存下来的预训练好的model和tokenizer,代码如下

from transformers import XLNetTokenizer, XLNetForSequenceClassification
tokenizer = XLNetTokenizer.from_pretrained("xlnet-base-cased")
model = TFXLNetForSequenceClassification.from_pretrained("xlnet-base-cased")
model.save_pretrained("XLNet")
tokenizer.save_pretrained("XLNet")

现在我保存好了,下次使用的时候怎么加载model呢?全是bin,和json的,不知道怎么加载。只知道torch.load()加载pth的文件,没见过这些啊

  • 写回答

2条回答 默认 最新

  • 斯曦巍峨 Python领域新星创作者 2022-02-27 09:34
    关注

    首先huggingface上的预训练模型都是有示例代码的,博主贴的四行代码的中的前两行会检查你本地有没有XLNet这个模型,若没有的话就会从huggingface上下载相应的模型到一个指定的目录下去,然后加载使用,而你后两句代码相当于又保存了一遍模型,但这没关系,你可以直接使用你后面保存的模型。这个模型中的json文件,有一些是XLNet的配置文件,而那个.bin文件才是保存的模型,至于如何加载,人家官方提供了加载示例的。

    from transformers import AutoTokenizer, AutoModelForCausalLM
    
    tokenizer = AutoTokenizer.from_pretrained("xlnet-base-cased")
    
    model = AutoModelForCausalLM.from_pretrained("xlnet-base-cased")
    

    其实用你的第一行和第二行代码也行,但是在from_pretrained中指定一下你本地保存模型的路径就可以,然后就可以使用tokenizer和model去做接下来的事情了。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 3月10日
  • 已采纳回答 3月2日
  • 创建了问题 2月24日

悬赏问题

  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥85 maple软件,solve求反函数,出现rootof怎么办?
  • ¥15 求chat4.0解答一道线性规划题,用lingo编程运行,第一问要求写出数学模型和lingo语言编程模型,第二问第三问解答就行,我的ddl要到了谁来求了
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥15 maple软件,用solve求反函数出现rootof,怎么办?
  • ¥65 汇编语言除法溢出问题
  • ¥15 Visual Studio问题
  • ¥20 求一个html代码,有偿
  • ¥100 关于使用MATLAB中copularnd函数的问题