虽然理解了cnn如何运作,但是在反向传播
(包括在softmax逻辑回归和前一层隐含层之间
卷积层和隐含层之间
卷积层和卷积层之间)
如何反向传播
虽无法理解的是卷积层的参数大概是卷积核,那后一层的参数如何对卷积核每个参数分别调整,是只能向同一个方向调整,还是用什么矩阵运算?
虽然理解了cnn如何运作,但是在反向传播
(包括在softmax逻辑回归和前一层隐含层之间
卷积层和隐含层之间
卷积层和卷积层之间)
如何反向传播
虽无法理解的是卷积层的参数大概是卷积核,那后一层的参数如何对卷积核每个参数分别调整,是只能向同一个方向调整,还是用什么矩阵运算?
反向传播一般使用的是梯度下降算法,也就是算出梯度,然后按照梯度方向和学习率调整参数。
在梯度下降的基础上,又衍生出很多算法,比如随机梯度下降,自适应学习率算法等等。
这些你可以去看Goodfellow写的深度学习(花书)。