aaazbai 2022-12-12 17:20 采纳率: 78.6%
浏览 17
已结题

transformer中，全连接层中的w需要训练么？

就是说除了自注意力机制本身的WQ,WK,WV需要训练，全连接层中的w应该也是要训练的吧，还是说全部默认为1？

  • 写回答

1条回答 默认 最新

  • 日拱一两卒 上海惠普机器学习算法工程师 2022-12-13 09:42
    关注

    你说的全连接层的W指的是权重矩阵吧，肯定是要训练的。
    神经网络训练的主要目的就是更新权重矩阵的参数

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 12月24日
  • 已采纳回答 12月16日
  • 修改了问题 12月13日
  • 创建了问题 12月12日

悬赏问题

  • ¥15 关于#matlab#的问题：在模糊控制器中选出线路信息，在simulink中根据线路信息生成速度时间目标曲线（初速度为20m/s，15秒后减为0的速度时间图像）我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥16 mybatis的代理对象无法通过@Autowired装填
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示
  • ¥15 求三国群英传pl国战时间的修改方法
  • ¥15 matlab代码代写，需写出详细代码，代价私
  • ¥15 ROS系统搭建请教（跨境电商用途）
  • ¥15 AIC3204的示例代码有吗，想用AIC3204测量血氧，找不到相关的代码。