名字不能取太长 2024-05-29 23:28 采纳率: 76.7%
浏览 10
已结题

关于模型训练的一个问题

我的模型训练的一开始(大约1/10的阶段)指标长的非常快,但是后面指标就一直在震荡,不再上涨或者是几次震荡后只有非常微小的增长,请问这是怎么回事?我的训练集只有800个样本,是否是因为模型层数太多导致这个问题?我的模型是由Transformer块堆叠而成。请不要使用AI回答

  • 写回答

14条回答 默认 最新

  • -Agony 2024-05-30 07:28
    关注

    在震荡前下调学习率,比如用step减半:或者一开始设置的就比较大,以及batch size较小导致训练不稳定

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(13条)

报告相同问题?

问题事件

  • 系统已结题 6月7日
  • 已采纳回答 5月30日
  • 修改了问题 5月29日
  • 修改了问题 5月29日
  • 展开全部

悬赏问题

  • ¥15 爬取网页内容并保存需要完整的python代码
  • ¥15 怎么做商品窗体,完完全全不会
  • ¥30 NIRfast软件使用指导
  • ¥20 matlab仿真问题,求功率谱密度
  • ¥15 求micropython modbus-RTU 从机的代码或库?
  • ¥15 铜与钢双金属板叠加在一起每种材料300mm长,18mm宽,4mm厚一端固定并加热至80℃,当加热端温度保持不变时另一端的稳态温度。ansys
  • ¥15 django5安装失败
  • ¥15 Java与Hbase相关问题
  • ¥15 后缀 crn 游戏文件提取资源
  • ¥15 ANSYS分析简单钎焊问题