图像中的attention及QKV机制解释

本文主要是介绍图像中的attention及QKV机制解释，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简单记录/推荐两篇博客，后续细化写一下：

图像中的各类 attention

https://blog.csdn.net/weixin_44505185/article/details/127013204

Cross-attention的直观理解

首先理解，cross-attention 是两个不同向量间的相关计算，一般Q叫做查询向量，K=V，V是被查询向量；

简单来讲，对图像而言，cross-attention可以看做：

将重要特征的强弱程度权重系数矩阵施加到图像特征V上，得到最终的带有注意力权重分布的图像特征，在特征图V上属于Q的特征会被加强，不属于Q的特征会被减弱。
https://blog.csdn.net/kdongyi/article/details/137084791

这篇关于图像中的attention及QKV机制解释的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---