model.load_state_dict中的一个疑惑

Question

事情如下：
最近加载预训练字典时惊讶的发现，load_state_dict pth文件中的字典长度竟然和model.state_dict，长度不一样。写了一个测试的代码如下，求帮看看：

from models.resnet import pretrained_resnet101 as resnet101
import torch.nn as nn
model,_ = resnet101(16,112,pretrained_resnet101_path='../CTEN-main/models/resnet-101-kinetics.pth')
model.fc = nn.Linear(model.fc.in_features, 400)

b = model.state_dict()
len(b)

Loading pretrained 3D ResNet-101 ../CTEN-main/models/resnet-101-kinetics.pth
626

from collections import OrderedDict
import torch
new = OrderedDict()

# new['ttt']=torch.tensor([5, 6, 7])
miss, unexp = model.load_state_dict(new, strict=False)
len(miss)

522

正常来说下面的miss长度不应该也是626吗！？

Answer 1

通常是由于模型结构发生了变化导致的。这种情况下，需要手动处理预训练字典，将其与当前模型的state_dict对应起来。可以使用del语句删除不需要的结构，或者手动添加缺失的结构。另外，需要注意的是，state_dict中的键必须与模型中的参数名称完全匹配，否则会出现Missing key(s) in state_dict的错误。