aaazbai 2022-12-12 17:20 采纳率: 78.6%
浏览 19
已结题

transformer中，全连接层中的w需要训练么？

就是说除了自注意力机制本身的WQ,WK,WV需要训练，全连接层中的w应该也是要训练的吧，还是说全部默认为1？

  • 写回答

1条回答 默认 最新

  • 日拱一两卒 上海惠普机器学习算法工程师 2022-12-13 09:42
    关注

    你说的全连接层的W指的是权重矩阵吧，肯定是要训练的。
    神经网络训练的主要目的就是更新权重矩阵的参数

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 12月24日
  • 已采纳回答 12月16日
  • 修改了问题 12月13日
  • 创建了问题 12月12日