pytorch权重初始化

Question

如果不写权重初始化的函数 pytorch网络是用什么方法来初始化网络各层权重的呢

Answer 1

参考GPT和自己的思路：如果没有对网络中的权重进行初始化处理，PyTorch会使用默认的方法对各层权重进行初始化，其中普通的线性层权重初始化为均匀分布的随机值，卷积层权重初始化为Kaiming He初始化。这些默认的初始化方法并不一定适用于所有模型和任务，因此在一些特殊情况下，我们可能需要自定义初始化方法来更好地训练我们的网络。