本文主要是介绍14 Positional Encoding （为什么 Self-Attention 需要位置编码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接：https://github.com/nickchen121/Pre-training-language-model
配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html
厚颜无耻的要个赞
Attention
优点：
- 解决了长序列依赖问题
- 可以并行
缺点：
-
开销变大了
-
既然可以并行，也就是说，词与词之间不存在顺序关系（打乱一句话，这句话里的每个词的词向量依然不会变），即无位置关系（既然没有，我就加一个，通过位置编码的形式加）
位置编码的
这篇关于14 Positional Encoding （为什么 Self-Attention 需要位置编码）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
