aaazbai 2022-12-12 17:20 采纳率: 78.6%
浏览 17
已结题

transformer中，全连接层中的w需要训练么？

就是说除了自注意力机制本身的WQ,WK,WV需要训练，全连接层中的w应该也是要训练的吧，还是说全部默认为1？

  • 写回答

1条回答 默认 最新

  • 日拱一两卒 上海惠普机器学习算法工程师 2022-12-13 09:42
    关注

    你说的全连接层的W指的是权重矩阵吧，肯定是要训练的。
    神经网络训练的主要目的就是更新权重矩阵的参数

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 12月24日
  • 已采纳回答 12月16日
  • 修改了问题 12月13日
  • 创建了问题 12月12日

悬赏问题

  • ¥30 求解达问题（有红包）
  • ¥15 请解包一个pak文件
  • ¥15 不同系统编译兼容问题
  • ¥100 三相直流充电模块对数字电源芯片在物理上它必须具备哪些功能和性能？
  • ¥30 数字电源对DSP芯片的具体要求
  • ¥20 antv g6 折线边如何变为钝角
  • ¥30 如何在Matlab或Python中 设置饼图的高度
  • ¥15 nginx中的CORS策略应该如何配置
  • ¥30 信号与系统实验：采样定理分析
  • ¥100 我想找人帮我写Python 的股票分析代码，有意请加mathtao