题主在设计一个GAN的对抗式网络结构,在更新判别器的时候不更新生成器,更新生成器的时候不更新判别器。
每训练一轮判别器后训练一轮生成器。因此训练判别器的时候想采用requires_grad=false方法把生成器中所有的参数冻结,训练生成器的时候同理。
但是遇到了一个很奇怪的问题,训练前,判别器和生成器的requires_grad都是true,第一轮训练判别器,判别器所有参数requires_grad设置为true,生成器所有参数requires_grad设置为fasle,训练正常,第二轮训练生成器,把判别器所有参数requires_grad设置为false,把生成器所有参数requires_grad设置为true,训练也正常。但是接下来问题来了,第二次的第一轮训练判别器时,同样的操作,判别器所有参数requires_grad设置为true,生成器所有参数requires_grad设置为fasle,但是这次生成器没有被冻结,其中的一个参数v仍然在变化,但v的requires_grad属性仍然是false。
简而言之,我在用requires_grad=true和false反复冻结和解冻过程中,对一个参数v观察发现,requires_grad在训练过程中从true变成false没有问题,参数v停止更新,但一旦从false再次变为true,参数v会一直更新,即便中途其requires_grad属性已经好几次变为false。
请问这是什么问题?