深度学习的归一化是什么？

Question

介绍深度学习中常见的归一化。
普通归一化（例如 BN、LN等）通常放在全连接层或卷积层之后，并在激活函数之前。
权重归一化与普通的归一化不同，它是直接应用于层的权重参数，因此它通常在层的定义阶段就应用。例如，在卷积层或全连接层的权重初始化或定义时。

Answer 1

普通归一化过程

1. 确定归一化范围

2. 计算均值和方差

3. 标准化

4. 缩放和平移
   普通归一化分类

5. 批归一化（Batch Normalization, BN）
   原理
   优点
   缺点
   使用场景

6. 层归一化（Layer Normalization, LN）
   原理
   优点
   缺点
   使用场景

7. 实例归一化（Instance Normalization, IN）
   原理
   优点
   缺点
   使用场景

8. 组归一化（Group Normalization, GN）
   原理
   优点
   缺点
   使用场景
   权重归一化（Weight Normalization, WN）
   原理
   权重归一化的步骤
   权重归一化的作用
   优点
   缺点
   使用场景
   归一化方法对比总结
   ————————————————

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
   

原文链接：https://blog.csdn.net/haopinglianlian/article/details/145134221