模型不收敛是怎么回事？

Question

模型不收敛是怎么回事？

模型不收敛是怎么回事？
模型不收敛是怎么回事？

Answer 1

1、学习率设置的太大（模型和数据都没有问题），导致梯度下降算法不断横跳
2、训练数据太少（不足几百张，但模型足够强劲），且没有使用迁移学习，导致模型梯度弥散
3、模型结构太简单，导致无法无法有效的提取数据的特征（训练数据足够多）
4、loss选择有问题，导致梯度优化方向无法实质性生效（模型、数据、学习率都没有问题）。例如：只用dice loss训练语义分割模型。
5、数据质量有问题（同样的训练数据其标签却存在冲突）