pytorch 如何冻结网络中的某些层，只训练其余部分？

Question

现在的话是将VGG特征层全部冻掉，如果我想只冻结前几层，不全部冻结，该怎么做呢？

## 获取vgg16的特征提取层
vgg = vgg16.features
# 将vgg16的特征提取层参数冻结，不对其进行更新

for param in vgg.parameters:
    param.requires_grad_(False)

Answer 1

你可以看下这篇教程，讲的很详细。

Pytorch 冻结网络层_tpz789的博客-CSDN博客_pytorch冻结网络层 Pytorch 冻结网络层参考文献：pytorch如何冻结某层参数的实现 pytorch 两种冻结层的方式【pytorch】筛选冻结部分网络层参数同时设置有参数组的时候该怎么办？方法一：设置requires_grad为False这种方法的性质是：被冻结的层可以前向传播，也可以反向传播，只是自己这一层的参数不更新，其他未冻结层的参数正常更新。还需要注意的是优化器要加上filter：optimizer = torch.optim.Adam(filter(lambda p: p.requires https://blog.csdn.net/tpz789/article/details/120008679

另外的一些做法就是根据网络层的id来冻结（像yolov5的话就是前10层是backbone网络），从输入后的提一个卷积层0层开始计算。例如冻结1,2,6,8,9这五层

    freeze = [1,2,6,8,9]  # layers to freeze
    for k, v in model.named_parameters():
        v.requires_grad = True  # train all layers
        if  k in freeze:
            v.requires_grad = False

另外就是利用isinstance函数，冻结特定网络层名

 for k, v in model.named_parameters():
    if if isinstance(v, Conv)
        v.requires_grad = False
    if if isinstance(v, layer_10)
        v.requires_grad = False