深度学习训练过程，学习率设置低，训练准确率就高

Question

图像识别过程，使用深度学习算法，训练阶段，将学习率设置的越低，训练准确率增长的越快。当然，也越容易过拟合。搞不懂其中的原因，为什么低学习率会使训练准确率增长的迅速？

Answer 1

首先一点，我习惯讲问题，很啰嗦。因为我想把问题讲的连之前不知道的人都可以清楚明白。你不介意就继续看吧。
第一个：我们训练模型其实在做什么。
神经网络模型本质就是一个算法，一个组合的算法。我们训练神经网络其实是在调参，让这个算法符合我们想要的效果。
第二个：什么是过拟合
网络调参是依据样本去调整算法。当我们根据样本调参出来的算法太过符合样本时，就对新数据效果不好。比如我分辩是不是狗。我样本都是二哈，这样调整的网络参数都是二哈的。现在识别新数据——金毛，就会识别金毛不是狗。
这就是过拟合。调出来的参数太符合样本了。
第三个：解决方法
过拟合就是参数调的太符合样本，所以解决的方法就有两方面
1.样本。 原本样本只有二哈的，导致参数符合二哈，现在增加样本种类和大小，这样参数调整出来就符合更多狗的。
2.参数。 让参数调整的没那么好。这就衍生出正则化、dropout等方法。正则化就是在loss函数加一项，这样出来的参数就有那一项的影响，不会太符合样本特征了。
dropout就是在每次迭代训练时随机丢一些单元，这次不参与，这样每次模拟的就不是基于全部，出来的参数就不会太符合样本了。
其实无论哪种方法都是基于参数调整方面出发。