Transformer中的相对/绝对位置信息编码究竟怎么理解？

不清楚相对位置信息和绝对位置信息是如何表示的、在实际的任务中有什么利弊？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
ShowMeAI 2022-12-03 20:26
关注
在deep learning model处理位置信息时有如下2种想法：

① 想办法将位置信息融入到输入中，这构成了绝对位置编码的一般做法；
② 想办法微调一下 Attention 结构，使得它有能力分辨不同位置的 Token，这构成了相对位置编码的一般做法。

可以参考如下资料中的形象解释：

Transformer 的绝对位置编码和相对位置编码 Transformer 恰好属于对位置不敏感的结构，所以我们需要额外给 Transformer 带上每一个字所在的位置。本文介绍了绝对位置编码和相对位置编码两种方式。 https://www.qin.news/jue-dui-wei-zhi-bian-ma-he-xiang-dui-wei-zhi-bian-ma/
本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

Transformer中的相对/绝对位置信息编码究竟怎么理解？ python 深度学习神经网络
2022-11-28 18:54

回答 1 已采纳在deep learning model处理位置信息时有如下2种想法： ① 想办法将位置信息融入到输入中，这构成了绝对位置编码的一般做法；② 想办法微调一下 Attention 结构，使得它有能力分辨
transformer中，全连接层中的w需要训练么？人工智能机器学习深度学习
2022-12-12 17:20

回答 1 已采纳你说的全连接层的W指的是权重矩阵吧，肯定是要训练的。神经网络训练的主要目的就是更新权重矩阵的参数
Transformer是哪一环节开始计算损失更新权值啊？ transformer 人工智能深度学习
2022-12-07 12:00

回答 1 已采纳可以参考下ChatGPT的答案：Transformer开始计算损失更新权值的环节是在完成训练之后，利用反向传播算法（Backpropagation）计算梯度，再根据梯度来更新权值参数。
计算机视觉中的transformer模型创新思路总结
2021-12-05 20:40

Tom Hardy的博客点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨仿佛若有光来源丨CV技术指南编辑丨极市平台导读本文回顾了ViT的结构，总结了计算机视觉中的transformer的主要改进思...
关于Swin Transformer官方代码中，WindowAttention模块中的self.proj的作用 transformer 深度学习计算机视觉
2023-02-13 14:41

回答 1 已采纳方案来自梦想橡皮擦狂飙组基于 GPT 编写的 “程秘” self.proj 是一个全连接层，在 SWIN Transformer 模型的 WindowAttention 模块中使用。它的作用是对
三维重建中，transformer是怎么学习2D图像的深度值的？人工智能机器学习计算机视觉
2022-12-08 15:46

回答 1 已采纳望采纳transformer在三维重建中学习2D图像的深度值通常是通过单目视觉来实现的。它会计算图像中物体之间的几何关系，并利用这些信息来估计深度值。对于训练集，Transformer并不对图像有特殊
transformer使用 python 有问必答
2022-10-08 12:33

回答 3 已采纳意思是没有这个do_sample关键字
最新综述！NLP中的Transformer预训练模型
2021-11-06 11:05

kaiyuan_sjtu的博客在如今的 NLP 领域，几乎每项任务中都能看见「基于 Transformer 的预训练语言模型（T-PTLM）」成功的身影。这些模型的起点是 GPT 和 BERT。而这些模型的技术基础包括...
transformer语义分割能通过旋转进行数据增广吗？深度学习神经网络计算机视觉
2023-03-17 01:16

回答 2 已采纳参考GPT和自己的思路：是的，Transformer语义分割可以通过旋转进行数据增广。由于Transformer缺乏卷积的位置偏置，因此我们可以使用旋转、反转等方法来增加数据的多样性。在训练过程中，
基于swin transformer的毕设 transformer
2022-11-15 11:37

回答 3 已采纳是有足够时间让你完成。首先swin的理论还是基于卷积神经网络，其次swin的大热，也让它的源码处处可见可查。
datax transformer 过滤时间问题 python transformer 运维
2021-12-28 16:04

回答 1 已采纳特殊符号问题？
详细介绍一下Transformer模型，并用可视化的方式帮助读者理解它的工作原理 Explains how transformers work through a visual approach
2023-08-30 12:38

禅与计算机程序设计艺术的博客作者：禅与计算机程序设计艺术 1.简介近年来，神经网络的发展极其迅速，已经在图像处理、自然语言处理、声音识别等领域实现了各种突破性...本文将详细介绍一下Transformer模型，并用可视化的方式帮助读者理解它的工作
更改video swin transformer的损失函数 transformer 深度学习
2023-03-30 17:47

回答 2 已采纳 import torch.nn as nn import torch.optim as optim # 定义自定义损失函数 def custom_loss_function(output, tar
Transformer中的位置编码(Position Encoding)
2023-07-12 01:41

禅与计算机程序设计艺术的博客 Transformer中的位置编码(Position Encoding) Position Encoding in Transformer. Transformer中的自注意力机制无法捕捉位置信
UTNet 用于医学图像分割的混合Transformer
2022-07-26 11:00

Tom Hardy的博客点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨李响来源丨GiantPandaCV文章目录1 概述2 浅析 Transformer 架构2.1 重看 Self-attention Mechanism2.2 高效的 Self-attention Mechanism2.3 ...
没有解决我的问题, 去提问