我的模型训练的一开始(大约1/10的阶段)指标长的非常快，但是后面指标就一直在震荡，不再上涨或者是几次震荡后只有非常微小的增长，请问这是怎么回事？我的训练集只有800个样本,是否是因为模型层数太多导致这个问题？我的模型是由Transformer块堆叠而成。请不要使用AI回答
14条回答 默认 最新
-Agony 2024-05-30 07:28关注在震荡前下调学习率，比如用step减半：或者一开始设置的就比较大，以及batch size较小导致训练不稳定
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
问题事件
系统已结题
6月7日
已采纳回答
5月30日-
修改了问题
5月29日
-
修改了问题
5月29日
- 展开全部
悬赏问题
- ¥30 模拟电路 logisim
- ¥15 PVE8.2.7无法成功使用a5000的vGPU，什么原因
- ¥15 is not in the mmseg::model registry。报错，模型注册表找不到自定义模块。
- ¥15 安装quartus II18.1时弹出此error，怎么解决？
- ¥15 keil官网下载psn序列号在哪
- ¥15 想用adb命令做一个通话软件，播放录音
- ¥30 Pytorch深度学习服务器跑不通问题解决？
- ¥15 部分客户订单定位有误的问题
- ¥15 如何在maya程序中利用python编写领子和褶裥的模型的方法
- ¥15 Bug traq 数据包 大概什么价