论文笔记 | Attention Is All Y ou Need for Chinese Word Segmentation

本文主要是介绍论文笔记 | Attention Is All Y ou Need for Chinese Word Segmentation，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

---

作者：景
单位：燕山大学

---

论文来源：EMNLP2020
代码地址

关于分词任务

  中文分词(CWS)是在句子中划分单词边界的任务，对于中文和许多其他东亚语言来说，这是一项基本和必要的任务——对于中文来说，进行交流的基本单位是汉字，每个汉字均有各自的意思，且当不同的汉字进行组合后还会产生新的含义。英语中词的最基本单位是字母（letter），但英语日常使用的基本单位是词（word），词汇之间的关联组合性相较中文较弱。在实际应用场景中，如果按照英文的使用习惯对中文进行“按字拆分”，就会割裂中文词汇内的语义联系。

任务定义

  给定一段中文序列[x₁,…,x_n],用标签0/1来标记序列中俩俩字符之间的间隙(gap)，如果间隙前后的字符（如x₅、x₆）属于不同的词汇，即判定该处间隙属于分词符，用标签1标记该间隙，反之则用标签0表示。最后根据标签值将序列进行划分即可完成分词任务。

论文概述

• 提出了一种新型的Transformer变体——高斯掩码定向Transformer编码器（Gaussian-masked Directional Transformer encoder，GD）
• 提出了一种新的中文分词模型，该模型基于GD Transformer设计，但其内部仅仅堆叠了注意力机制模块，没有添加前馈神经网络
• 作者证明在使用GD作为编码器之后，单个字符特征加上贪婪分割算法可以支持产生强大的性能，并刷新了当前的sota。

方法

模型的总结构图如下所示。

1.高斯掩码定向Transformer

  作者提出的GD Transformer与原版的Transformer相比，做了两大改进：
  1.用三种平行的Encoder代替了原transformer中的Encoder
  2.采用高斯掩码定向注意力机制代替了标准的多头自注意力机制

Encoder部分

  如上图所示，每层共有三个彼此平行的编码器：前向编码器、中心编码器、 后向编码器；前、后向编码器用于捕捉gap前边、后边的信息，中心编码器与原Transformer编码器一样，可以同时捕捉gap前后文的信息。

For the forward encoder, we forcibly set all values inside the attention matrix representing the character pair relation after the concerned character as 0 so that the encoder can focus on the forward characters.

  对于前向编码器，作者强制将gap之后的关系矩阵内的所有值设置为0，进行一个掩盖的操作，以便编码器可以关注前向字符。后向编码器的设置与前向编码器相似，不过掩盖的是gap之前的位置。
  编码器的输出结果为r^f、r^b、r^c，得到图示的$v^b$和$v^f$
$$\begin{gathered} v^b=r^b+r^c \\ {v}^f=r^f+r^c \end{gathered}$$

GD多头注意力机制

我们知道，Transformer中Attention的计算公式如式1所示，
$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V\text{\hspace{1em}(1)}$$

  与缩放的点积注意力不同，高斯掩码定向注意力期望关注每个位置的相邻字符，并将字符之间的局部性关系作为固定的高斯权重进行关注。作者假设高斯权重只依赖于字符之间的距离。因此引入高斯权重矩阵 G = ( g i j )

这篇关于论文笔记 | Attention Is All Y ou Need for Chinese Word Segmentation的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---