如何让卷积神经网络中间的某几层参数固定，还不影响正常的训练过程?

Question

深度卷积网络中，一般都有很多卷积层，我现在想要把中间几层的卷积核参数固定，不随着训练而更改它们的值，但是这几层前面的卷积层和后面的卷积层还是需要正常的前向和反向传播，请问如何做到？
我在网上看到的方法都是冻结卷积神经网络的某几层的做法，但是这样的作法都是冻结前几层，让这几层的卷积核参数变成不能计算梯度，如下面代码所示：

for i, para in enumerate(self._net.module.features.parameters()):
  if i < 16:
    para.requires_grad = False
  else:
    para.requires_grad = True

但这么做我觉得会有一个问题，那就是我并不是想冻结前几层，而是中间某几层，这样的话，如果我冻结了中间从几层，可能就无法做到正常的反向传播了，请问有没有在固定中间某几层卷积核参数的情况下还能正常进行反向传播？

Answer 1

可以啊，冻结之后只是不更新参数和计算梯度，优化器在step的时候遇到不计算梯度的话自动就不更新参数了，但是反向传播还是正常进行的。