aaazbai 2022-12-07 04:00 采纳率: 78.6%
浏览 39
已结题

Transformer是哪一环节开始计算损失更新权值啊?

是等第一轮遮罩算完才开始么?

顺便再问下Wq、Wk、Wv的值,是编码器和解码器共享么?还是用两套?

  • 写回答

1条回答 默认 最新

  • 冯丙见 2022-12-07 06:46
    关注

    可以参考下ChatGPT的答案:
    Transformer开始计算损失更新权值的环节是在完成训练之后,利用反向传播算法(Backpropagation)计算梯度,再根据梯度来更新权值参数。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
编辑
预览

报告相同问题?

问题事件

  • 系统已结题 12月15日
  • 已采纳回答 12月8日
  • 修改了问题 12月7日
  • 创建了问题 12月7日

悬赏问题

  • ¥30 silcavo仿真,30分钟,只需要代码
  • ¥15 FastReport 怎么实现打印后马上关闭打印预览窗口
  • ¥15 利用3支股票数据估计其均值和方差的95%置信区间。
  • ¥15 微信小程序运行一项功能时,弹出未知错误弹框,检查代码没有问题
  • ¥15 ATAC测序生成self-pseudo replicates之前是否要进行去线粒体reads
  • ¥15 python模糊字匹配函数问题
  • ¥20 谁刷目标页面的uv记录器上数据,数据只记录跳转的数值
  • ¥30 数据库软件的安装方法
  • ¥15 一道以太网数据传输题
  • ¥15 python 下载群辉文件