深度学习里为何权重总是呈现正太分布

Question

https://deephub.blog.csdn.net/article/details/109412617?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-11.control&dist_request_id=1330144.7821.16180346486147649&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-11.control

看了这位兄弟的文章，还是没能理解，当在使用ReLU激活函数时，权重依旧呈现以0为中心的正太分布。

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题解答：在使用ReLU激活函数时，权重依旧呈现以0为中心的正太分布的原因主要是因为ReLU激活函数的非线性特性导致了权重更新时的梯度消失（Vanishing Gradient）或爆炸（Exploding Gradient）问题。 在深度学习中，我们通常使用梯度下降算法来更新神经网络中的权重，梯度是目标函数对于权重的偏导数，而这个偏导数在更新权重的过程中非常重要。但是，当使用ReLU激活函数时，当输入为负数时，梯度为0，这意味着权重就不会更新。 为了解决这个问题，可以采用一些改进的激活函数或初始化方法，例如Leaky ReLU、ELU等激活函数，或者使用Xavier初始化、He初始化等方法来初始化网络的权重。 案例：

import torch
import torch.nn as nn
import torch.nn.functional as F
# 定义一个深度神经网络模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 128)
        self.fc3 = nn.Linear(128, 10)
    
    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x
# 初始化模型并打印模型参数
model = MyModel()
print(model)
# 打印每一层的权重分布
for name, param in model.named_parameters():
    if 'weight' in name:
        print(name, param.data.mean(), param.data.std())

通过以上代码，可以看到在使用ReLU激活函数时，每一层的权重依旧呈现以0为中心的正太分布，这是由ReLU激活函数的特性导致的。如果需要改变权重的分布，可以尝试使用其他激活函数或初始化方法。