a493001894 2021-12-21 08:49 采纳率: 100%
浏览 10
已结题

transformer中的Embeding是否应该将每个词向量设置成模相等的向量?

最近在学习transformer的时候遇到了一个问题,Q矩阵和K矩阵点乘是在反应两个向量的相似度,点乘的结果越大越是相似。

点乘的公式:a*b= |a| * |b| * cosθ

由点乘的公式可知,点乘的结果不仅仅是由相似度(也就是cosθ)决定,还由向量的模的大小决定的,如果模很大,即使向量夹角很大(也就是很不相似),得出来的结果也有可能很大,那么这个结果就不能反应这个两个向量是否相似了。是不是应该在Embeding的时候,将所有的词向量的模设置成大小一样的?这样计算的结果才能真正的反映向量之间的相似度。

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 12月29日
    • 修改了问题 12月21日
    • 创建了问题 12月21日

    悬赏问题

    • ¥20 蓝牙耳机怎么查看日志
    • ¥15 Fluent齿轮搅油
    • ¥15 八爪鱼爬数据为什么自己停了
    • ¥15 交替优化波束形成和ris反射角使保密速率最大化
    • ¥15 树莓派与pix飞控通信
    • ¥15 自动转发微信群信息到另外一个微信群
    • ¥15 outlook无法配置成功
    • ¥30 这是哪个作者做的宝宝起名网站
    • ¥60 版本过低apk如何修改可以兼容新的安卓系统
    • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏