关于神经网络训练与测试过程中的BN层参数？

Question

为什么一般我们在训练网络的时候设置model.train()，不固定BN层参数，但是在测试过程使用model.eval()固定BN层参数。那么在训练过程中BN层参数是怎么变化的？为什么一些代码在训练时也设置model.eval()固定BN层参数？

Answer 1

1. 关于BN的理论网上一大堆。

2. BN是个可学习的参数，所以训练学习，前向计算固定，和weight一样。

3. 训练阶段使用eval固定BN，和去除BN无区别。当然在蒸馏的时候，大模型固定，小模型不固定。