weight_decay

Question

SGD优化器

optimizer = torch.optim.SGD(param, lr, weight_decay)
（1）优化器的weight_decay参数就是L2惩罚项的lambda系数吗？
（2）weight_decay的设置有范围区间吗？
（3）weight_decay设置过大会造成欠拟合吗？

Answer 1

望采纳

weight_decay不是lambda

SGD是一种常用的机器学习算法，全称是随机梯度下降。它通过不断地迭代，在每一次迭代中更新模型的参数来最小化损失函数。

weight_decay是一种正则化技术，它的目的是为了防止模型过拟合，也就是模型在训练数据上表现得非常好，但是在测试数据上的表现并不好的情况。

Weight decay的做法是在每一次迭代时，将模型的参数向“正确”的方向移动，从而避免过度拟合。在具体实现中，就是将模型参数中的每个值都乘以一个小于1的系数，从而使得模型参数不会变得过大。

weight_decay如其名，是权重衰减，因此不会设置过大，过大的话会影响模型拟合，是可能欠拟合的。