PyTorch笔记 - Word Embeddings Word2vec 原理与源码

欢迎关注我的CSDN：https://blog.csdn.net/caroline_wendy
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128227529

语言建模

1. 基于已有的人类组织的文本语料，来去无监督学习如何组织一句话，并还能得到单词的语义表征。
2. 统计模型：n-gram，N个单词所构成的序列，在文档中出现的次数，基于贝叶斯公式。
3. 无监督学习：NNLM（Neural Network Language Model）《A Neural Probabilistic Language Model》，Neural Network + n-gram
4. 大规模无监督学习：word2vec、BERT（Bidirectional Encoder Representations from Transformers）

n-gram模型

1. 特点：统计性、简单、泛化能力差、无法得到单词的语义信息
2. 定义：n个相邻字符构成的序列
   1. uni-gram，单一单词
   2. bi-gram，两个单词
   3. tri-gram，三个单词
3. 用途：基于n-gram的频数分析文本，如垃圾邮件分类
4. 对于word n-gram（基于单词），特征维度随着语料词汇增大和n增大而指数增大（curse of dimensionality，维度灾难）
5. 对于character n-gram（基于字母），特征维度只随着n增大而增大

单词的语义表征

1. 稀疏式：one-hot encoding，只有1个位置上的元素是1，只能反应单词在单词表中的位置，维度很长，不利于计算。
2. 分布式：类似于word embedding，连续浮点型的向量，维度是固定的，隐式的语义表征。
3. 应用场景：
   1. word/character/phrase/sentence/paragraph embedding
   2. speaker/user/item embedding

基于神经网络的语言模型(NNLM)

1. 由Bengio(CA，University of California，加州大学)提出，解决Curse of Dimensionality问题。
2. NNLM包含：
   1. 输入层(one-hot)，排列矩阵
   2. 投影层，查询embedding table，将离散的index转换为连续的向量表示。
   3. 隐含层，映射为隐含层
   4. 输出层，映射到大小为单词表数量的embedding之上。
3. word embeddings是副产物，隐含的语义表征
4. 主要复杂度：N*D*H + H*V
5. 如何降低复杂度，如何训练大数据，2010年左右面临的问题

Word2vec模型

1. 改进1：抛弃隐含层，并提出CBOW和Skip-gram
2. Continuous Bag-of-Words（CBOW）连续词袋算法，与BERT类似
   1. 不同于NNLM，CBOW考虑到了前后上下文
   2. 使用周围单词预测中间单词
   3. 
3. Skip-gram
   1. 与CBOW相反，使用中间单词预测周围单词，判断两个单词是否为相邻单词
   2. 
4. 论文《Efficient Estimation of Word Representations in Vector Space》，Tomas Mikolov，CA

Word2vec模型

1. 改进2：优化Softmax

2. Softmax计算量跟K呈线性关系，单词维度

   1. 

3. Hierarchical Softmax，参考详解Hierarchical Softmax，Huffman树

   1. $lo{g}_{2}K$次的二分类
   2. N个单词，N个节点
   3. 选择权重最小的2个单词，合并一课树的左右子树
   4. 重复筛选。
   5. 统计全部单词出现的次数，构建Huffman树的权重，

   

基于H-Softmax的word2vec

1. Continuous Bog of Words (CBOW)
   1. 输入：前n个单词和后n个单词
   2. 目标：基于H-Softmax预测中间单词
2. Skip-gram
   1. 输入：中间单词
   2. 目标：基于H-Softmax预测前n个单词和后n个单词