梯度下降法结合损失函数进行参数优化
GridSearch调参
这两个方法都是对参数的修改，究竟有什么区别
梯度下降法结合损失函数进行参数优化和使用比如GridSearch进行调参对于调整的参数来说有什么区别？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2018-11-08 02:36回答 1 已采纳 损失函数本来都是循环，无论是mse mae crossentropy...，但是关优化算法（反向传播算法）什么事呢。很慢就应该用gpu去加速啊，sgd要设置学习率、动量
- 2022-10-16 20:37回答 2 已采纳 loss先下降后上升，可能的原因之一是学习率比较大，随机梯度下降算法没法收敛。其他的疑问有点不太理解你的意思，哈哈！
- 2022-10-11 12:37回答 1 已采纳 过拟合了可能
- 2018-08-23 10:39贪狼切的博客 原文：How to Grid Search Hyperparameters for Deep Learning Models in Python With Keras 作者：Jason Brownlee 翻译：刘崇鑫 责编：周建丁（zhoujd@...
- 2021-03-12 00:07回答 2 已采纳 在上面给的代码的第164行处插入 optimizer = optimizers.Adam(lr=1e-4) 重新初始化optimizer，这样两个模型训练后的测试结果就一样了，望采纳
- 2022-10-11 15:24回答 1 已采纳 都一样，加法就是减法。他们一般用负梯度方向，因为国际上凸函数指的是往下凸的那种，所以一般常用负梯度方向，这样➕的话就相当于➖
- 2022-07-06 21:17回答 1 已采纳 差分就是离散化的微分。连续函数的微分求导，离散后就是差分。微分方程的数值解法，就是差分方程。（1）图像是离散的点，图像表达为二维矩阵，图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函
- 2023-07-21 22:11talle2021的博客 对网格搜索而言，如果参数空间中的某一个点指向了损失函数真正的最小值，那枚举网格搜索时一定能够捕捉到该最小值以及对应的参数（相对的，假如参数空间中没有任意一点指向损失函数真正的最小值，那网格搜索就一定...
- 2023-04-15 17:38回答 1 已采纳 这个问题的回答你可以参考下: https://ask.csdn.net/questions/7769862我还给你找了一篇非常好的博客，你可以看看是否有帮助，链接：最优化算法简单对比 梯度下降 牛顿迭
- 2022-11-07 18:24回答 2 已采纳 你可以参考下这篇文章：用梯度下降算法解决线性回归问题
- 2022-01-13 15:01回答 1 已采纳 可以啊，冻结之后只是不更新参数和计算梯度，优化器在step的时候遇到不计算梯度的话自动就不更新参数了，但是反向传播还是正常进行的。
- 2020-11-20 15:29weixin_39897218的博客 引言模型优化是机器学习算法实现中最困难的挑战之一。机器学习和深度学习理论的所有分支都致力于模型的优化。机器学习中的超参数...其它超参数有：神经网络训练中的学习率支持向量机中的 参数和 参数k 近邻算法中...
- 2017-12-19 17:17回答 2 已采纳 对平方差求导，指数项下来就是那个2
- 2020-10-10 01:21weixin_26729283的博客 超参数调整| AutoML | 随机搜索和网格搜索 (Hyper-parameter Tuning | AutoML | RandomSearch & GridSearch) Most Professional Machine Learning practitioners follow the ML Pipeline as a standard, to keep...
- 2022-07-26 08:59「 25' h 」的博客 超参数优化 1 超参数优化 1.1 网格搜索类 1.1.1 枚举网格搜索 1.1.2 随机网格搜索 1.1.3 对半网格搜索（Halving Grid Search） 1.2 贝叶斯超参数优化（推荐） 原理 1.2.1 BayesOpt实现高斯过程GP（较慢） 1.2.1.1 ...
- 没有解决我的问题, 去提问
