Xaiver初始化适用于哪些激活函数？为何不适合ReLU？

Question

在深度学习中，Xaiver初始化为何不适用于ReLU激活函数？Xaiver初始化是为了解决神经网络训练初期的梯度消失或爆炸问题而设计的，它假设激活函数的输出均值为0，方差为1。这种初始化方法非常适合Sigmoid和Tanh等激活函数，因为它们的输出范围对称且接近这一假设。 然而，ReLU激活函数的特性使其与Xaiver初始化不兼容。ReLU将所有负值输出设为0，导致其输出并不满足均值为0、方差为1的分布假设。如果仍使用Xaiver初始化，在深层网络中会引发大量神经元输出为0（即“神经元死亡”），从而影响网络的训练效果。因此，针对ReLU激活函数，He初始化被提出并广泛应用，它通过调整权重初始化的方差来匹配ReLU的非对称输出特性。

Answer 1

1. 初步理解：Xaiver初始化与ReLU激活函数的不兼容性

Xaiver初始化的核心思想是通过设定权重的初始值，确保网络中每一层的输入和输出具有相同的方差。这种方法特别适用于Sigmoid和Tanh等激活函数，因为它们的输出分布接近均值为0、方差为1的理想状态。

然而，ReLU激活函数的行为与此不同。ReLU将所有负值设为0，仅保留正值。这种非对称的特性导致其输出分布的均值偏离0，方差也显著小于1。如果继续使用Xaiver初始化，深层网络中的神经元容易陷入“死亡”状态，即输出恒为0，从而阻碍梯度的有效传播。

2. 深入分析：问题的技术细节

从数学角度来看，Xaiver初始化假设每层网络的输入和输出满足以下条件：

• 均值为0：激活函数的输出应围绕0对称分布。
• 方差一致：输入和输出的方差保持不变，以避免梯度消失或爆炸。

对于ReLU激活函数，由于其定义为 \( f(x) = \max(0, x) \)，正向传播时的输出分布会明显偏向正值区域，破坏了上述假设。具体表现为：

激活函数	输出范围	是否满足Xaiver假设
Sigmoid	(0, 1)	部分满足（需归一化）
Tanh	(-1, 1)	满足
ReLU	[0, +∞)	不满足

3. 解决方案：He初始化的提出

为了解决ReLU与Xaiver初始化的不兼容问题，He初始化被引入。该方法调整了权重初始化的方差公式，使其更适合ReLU的特性：

对于ReLU激活函数，He初始化的权重方差计算公式为：

Var[w] = 2 / n_in

其中，\( n_in \) 表示当前层的输入神经元数量。相比Xaiver初始化的公式 \( Var[w] = 1 / (n_in + n_out) \)，He初始化显著提高了权重的初始值范围，从而有效缓解了ReLU激活函数带来的“神经元死亡”问题。

4. 应用与验证：实际效果对比

以下是Xaiver初始化与He初始化在深度学习模型训练中的表现对比：

import numpy as np

def xavier_init(n_in, n_out):
    return np.random.randn(n_in, n_out) * np.sqrt(1 / (n_in + n_out))

def he_init(n_in, n_out):
    return np.random.randn(n_in, n_out) * np.sqrt(2 / n_in)

# 示例：生成权重矩阵
weights_xavier = xavier_init(100, 50)
weights_he = he_init(100, 50)
    

通过上述代码可以看出，He初始化生成的权重矩阵具有更大的方差，能够更好地匹配ReLU激活函数的输出分布。

5. 总体流程图：初始化方法选择逻辑

以下是选择初始化方法的决策流程：