陈长生im 2023-02-22 13:07 采纳率: 14.3%
浏览 32
已结题

transfomer预训练模型每次加载后结果不同

在hugging face上下载了一个预训练的模型,但是我发现每次加载后输出的结果都不一样

img

text = '今天天气不好'
tokenizer=BertTokenizer.from_pretrained('bert-base-chinese')
logging.set_verbosity_error()

for i in range(3):
    with torch.no_grad():
        model=BertForSequenceClassification.from_pretrained('bert-base-chinese')
        model.eval()
        model.cuda(0)
        token = tokenizer.encode(text)
        output = model(torch.tensor([token]).cuda(0))
        print(torch.nn.functional.softmax(output.logits,dim=-1))
  • 写回答

2条回答 默认 最新

  • 元气少女缘结神 2023-02-22 13:39
    关注

    Huggingface 提供的预训练模型 bert-base-uncased 只包含 BertModel 的权重,不包括线性层 + 激活函数的权重。它的线性层 + 激活函数的权重是随机的,所以你的3次进去都是随机的,当然有差别。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 3月3日
  • 已采纳回答 2月23日
  • 创建了问题 2月22日