import tensorflow as tf
batch_size = 10
learning_rate = 0.001
tf.train.AdamOptimizer(learning_rate)
所以:
The learning_rate of a data is 0.0001 or 0.001 ?
The sum learning_rate of a batch is 0.01 or 0.001 ?
我们代码里的learning rate是一个batch总的学习率还是一个data的学习率？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2021-04-28 16:06回答 1 已采纳 batch总的学习率
- 2020-01-25 18:05回答 2 已采纳 https://blog.csdn.net/qq_32241189/article/details/80450741
- 2021-06-06 10:50回答 5 已采纳 train_acc和val_acc在这3个epoch都是在增长的，从网上直接下载的代码精度一个是0.9+，一个0.6+也算是正常的。接下来就需要题主针对自己的数据集找特点进行网络调参，或者数据预处理的
- 2018-10-17 10:26追蜗牛的coder的博客 1. 什么是学习率 调参的第一步是知道这个参数是什么，它的变化对模型有什么影响。 （1）要理解学习率是什么，首先得弄明白神经网络参数更新的机制-梯度下降+反向传播。参考资料：...
- 2022-02-03 10:23回答 2 已采纳 在多标签文本分类的训练过程中，在多元文本分类的训练过程中，Loss一般在0.1-0.2之间的时候，模型基本上已经收敛。但是，看题主的这个，在多标签文本分类(这个框架下)的情况下，Loss往往要达到0.
- 2023-02-28 10:34回答 1 已采纳 这篇文章：Halcon深度学习常见问题及解决方法 也许能够解决你的问题，你可以看下
- 2022-08-12 21:21回答 2 已采纳 看darknet的git，解决方案是将cuda升级到11.1，cudnn也升级，才能解决这个卡住的问题，和显卡有点关系
- 2020-10-21 00:17-柚子皮-的博客 -柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_...scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1 # 训练过程中 for n in n_epoch: ...
- 2022-04-11 11:22回答 1 已采纳 低版本可手动安装，是否兼容可自行尝试 path '/data/VOCdevkit\VOC2012' does not exist. 报错是文件位置不对，你已经找到在哪里改了，可将--data-path
- 2021-05-03 17:32回答 1 已采纳 我把你的代码拿到本地跑了，首先你的代码的API是TF1.x版本的，我本地用的是tf1.15，所以第一步是把TF切换到1.15(我测试通过了，看你用Anaconda，那么安装就很简单了conda ins
- 2022-07-18 18:32回答 2 已采纳 严重怀疑是你 TF 装的过程出了问题，建议重新安装或者使用 conda 隔离环境，可以参考 https://tf.wiki/zh_hans/basic/installation.html 的教程，安装
- 2023-11-06 16:49SpikeKing的博客 CosineAnnealingWarmRestartsLR，即 余弦退火热重启学习率，周期性修改学习率的下降和上升，间隔幅度逐渐增大，避免模型的性能抖动。
- 2019-05-27 16:45回答 2 已采纳 谢谢大家，已经解决了
- 2018-12-04 09:33Greeksilverfir的博客 我们知道学习率是深度学习模型中一个非常重要的超参数，因此，当训练深度学习模型时，我们如何确定学习率的大小？ 如果学习率太小，网络将会训练很慢且耗时（比如学习率设置为1e-6)。如果学习率太高，网络在训练过程...
- u013250861的博客 所以动态改变learning rate很重要，在开始的时候，设置较大的learning rate，可以保证梯度下降的速度，慢慢减小，可以使最后的cost function在最小值非常小的范围内盘旋，得到一个比较满意的值。 解释②：学习率过大...
- 没有解决我的问题, 去提问
