陈长生im 2023-02-22 13:07 采纳率: 14.3%
浏览 27
已结题

transfomer预训练模型每次加载后结果不同

在hugging face上下载了一个预训练的模型,但是我发现每次加载后输出的结果都不一样

img

text = '今天天气不好'
tokenizer=BertTokenizer.from_pretrained('bert-base-chinese')
logging.set_verbosity_error()

for i in range(3):
    with torch.no_grad():
        model=BertForSequenceClassification.from_pretrained('bert-base-chinese')
        model.eval()
        model.cuda(0)
        token = tokenizer.encode(text)
        output = model(torch.tensor([token]).cuda(0))
        print(torch.nn.functional.softmax(output.logits,dim=-1))
  • 写回答

2条回答 默认 最新

  • 元气少女缘结神 2023-02-22 13:39
    关注

    Huggingface 提供的预训练模型 bert-base-uncased 只包含 BertModel 的权重,不包括线性层 + 激活函数的权重。它的线性层 + 激活函数的权重是随机的,所以你的3次进去都是随机的,当然有差别。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 3月3日
  • 已采纳回答 2月23日
  • 创建了问题 2月22日

悬赏问题

  • ¥15 nslt的可用模型,或者其他可以进行推理的现有模型
  • ¥15 arduino上连sim900a实现连接mqtt服务器
  • ¥15 vncviewer7.0安装后如何正确注册License许可证,激活使用
  • ¥15 phython如何实现以下功能?查找同一用户名的消费金额合并2
  • ¥66 关于人体营养与饮食规划的线性规划模型
  • ¥15 基于深度学习的快递面单识别系统
  • ¥15 Multisim仿真设计地铁到站提醒电路
  • ¥15 怎么用一个500W电源给5台60W的电脑供电
  • ¥15 请推荐一个轻量级规则引擎,配合流程引擎使用,规则引擎负责判断出符合规则的流程引擎模板id
  • ¥15 Excel表只有年月怎么计算年龄