1-1、请推导对率回归的解析解,并在实际数据集上验证。
1-2、基于1-1,请在“病马预测数据集”上比较对率回归的解析解和梯度下降的解,谁的训练误差最低,谁的测试误差最低。
1-3、基于1-2,请思考:对率回归的解析解一定是我们在机器学习任务上期望得到的最优解吗?为什么?
1-4、关于对率回归的求解,梯度下降和解析解相比有什么特点和优势,为什么?
1-5、关于对率回归,如果没有偏置项会有什么影响?为什么?请在实际数据集上验证你的分析和判断。
1-6、用梯度下降求解对率回归模型的过程中,参数的初值我们是如何设置的呢?可以设置为其它值吗?为什么?请在实际数据集上验证你的分析和判断。
1-7、用梯度下降求解对率回归模型的过程中,学习率我们是如何设置的呢?为什么这么设置呢?能够搜索到最佳学习率吗?请在实际数据集上验证你的分析和判断。
1-8、用随机梯度下降求解对率回归模型的过程中,“小batch”的大小和一遍(epoch)迭代的抽样次数我们应该如何设定?请在实际数据集上尝试设置不同的“小batch”大小,并对结果进行比较。
2-0、对率回归模型是关于特征x的线性模型吗?为什么?
2-1、对率回归模型需要对数据做归一化处理吗?为什么?请在实际数据集上验证你的分析和判断。
2-2、kNN模型需要对数据做归一化处理吗?为什么?请在实际数据集上验证你的分析和判断。
2-3、思考如何用对率回归模型解决多分类问题,并在二值手写数字识别数据集上进行验证和测试。
2-4、对于机器学习问题,我们真正关心的是测试集上的精度,因此在训练集上最优不一定在测试集上最优,那么我们应该如何选出在测试集上最优的模型呢?请用对率回归模型和梯度下降方法在实际数据集上验证你的想法。
4-1、全连接神经网络模型中,我们是如何在网络的输出层,用多个对率回归模型解决的Mnist数据集上的多分类问题呢?还有其它解决方案吗?那个方案更优呢?
4-2、为什么对率回归模型中,我们要增加一列取值固定为1.0的特征,而在SVM和NN模型中我们并不需要这样做呢?
4-3、就梯度归一化比较对率回归模型和NN模型。
4-4、全连接神经网络模型可由对率回归单元堆叠而成,那么基于对率回归的解析解(问题1-1)同样能够求解全连接神经网络模型吗?为什么?
4-5、全连接神经网络模型中的对率回归单元都是二分类器吗?为什么?