如何通俗理解VIT？

Question

卷积我清楚，对RGB的数值矩阵用卷积核来提取特征，但Transformer的QKV是如何实现图像检测的？

QK计算投影后，用softmax来保留需要的特征并舍弃不需要的区域，以此提取特征的么？

Answer 1

Vision Transformer是Transformer的一个变种，它是一种神经网络架构，利用自我注意机制处理顺序数据。在视觉Transformer的情况下，这种架构被应用于图像，使该模型能够执行图像分类和物体检测等任务。

QKV（query-key-value）机制是Transformer中使用的自我注意机制的一个核心组成部分。在视觉Vision Transformer中，该机制被用来计算图像不同区域之间的关系，并根据这些关系与手头任务（如物体检测）的相关性来加权。

在QKV机制中，图像的每个区域被表示为一个查询、一个键和一个值。查询和键被相乘，然后通过一个softmax函数，产生一个数值的加权和。然后，这个加权和被用来表示该区域，其方式与视觉转化器正在使用的特定任务相关。

简而言之，Vision Transformer中的QKV机制被用来计算图像中不同区域之间的关系，并根据这些关系与特定任务（如物体检测）的相关性来加权。这使得该模型能够专注于图像中最重要的特征，而忽略不相关的细节。

• Vision Transformer 超详细解读 (原理分析+代码解读) (一) - 知乎 本系列已授权极市平台，未经允许不得二次转载，如有需要请私信作者。考虑到每篇文章字数的限制， 每一篇文章将按照目录的编排包含三个小节，而且这个系列会随着Vision Transformer的发展而长期更新。目录科技猛兽… https://zhuanlan.zhihu.com/p/340149804