自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】

💥实验目的

🚀1、要利用已训练过的词向量模型进行词语相似度计算，实验中采用的词向量模型已事先通过训练获取的。
🚀2、于数据采用的是 2020 年特殊年份的数据，“疫情”是主要 话题。
🚀3、在计算词语之间的相似度时，采用的词语与“疫情”相关

💥实验内容

🚀1、加载已训练的词向量模型，直接调用 models.word2vec.Word2Vec.load 加载模型 wiki.model。
🚀2、计算多种形式的词语相似度
🚀3、model 计算不同方法下的词语相似度

**

💥实验步骤

**
🚀1、加载模型，获得某个词的词向量
代码：

# TODO                鸟欲高飞，必先展翅
# TODO                 向前的人 ：Jhonimport warningswarnings.filterwarnings('ignore')
from gensim import modelsmodel = models.word2vec.Word2Vec.load('wiki.model')# TODO  步骤2.1  todo:获取某个词对应的词向量，了解词向量
word = '疫情' #注意：词库里面要有这个词，否则会报错
vector = model.wv[word] #获取单词的词向量
print('{}的词向量为：\n{}'.format(word,vector))#  print(vector.shape())print(len(vector))
print("-"*66)

截图：

由上面的代码我们可以得出和疫情相关的100个词的相似度。我们可以发现有的相似度大于80%，但有的却是负相关。Ok,下面我们来使用wv.similarity计算两个词语的余弦相似度

🚀2、计算两个词语之间的相似度

# TODO                鸟欲高飞，必先展翅
# TODO                 向前的人 ：Jhon
import warnings
warnings.filterwarnings('ignore')
from gensim import models
model = models.word2vec.Word2Vec.load('wiki.model')
# TODO  步骤2.1  todo:获取某个词对应的词向量，了解词向量
word = '疫情' #注意：词库里面要有这个词，否则会报错
vector = model.wv[word] #获取单词的词向量
print('{}的词向量为：\n{}'.format(word,vector))
print(len(vector))
print("-"*66)
# TODO  步骤2.2 todo:使用wv.similarity计算两个词语的余弦相似度
word1 = '疫情'
word2 = '新冠'
distance = model.wv.similarity(word1,word2)
print('%s与%s的相似度为:%.4f'%(word1,word2,distance))

截图：

可以得出疫情与新冠的相似度为:0.8392这个结论。所以当出现疫情的时候我们就会不加思考的想到新冠。

🚀3、使用wv.n_similarity计算两个list之间的相似度

代码：
import warnings
warnings.filterwarnings('ignore')
from gensim import models
model = models.word2vec.Word2Vec.load('wiki.model')
# TODO  步骤2.3  使用wv.n_similarity计算两个list之间的相似度，返回单个值
# TODO  可以考察两个句子（先进行分词）之间的相似度
words_list1 = ['电脑', '现在', '不贵']
words_list2 = ['计算机', '便宜']
list_distant=model.wv.n_similarity(words_list1,words_list2)
print("%s与%s相似度为：%.4f" % (words_list1, words_list2, list_distant))

截图：

由上面的model模型中的wv.n_similarity计算两个list之间的相似度，[‘电脑’, ‘现在’, ‘不贵’]和[‘计算机’, ‘便宜’]之间的相似度为0.8281，很高的相似度了，与实际相符。

🚀4、计算与一个词语最相似的前topn个词语

代码：

# TODO  步骤2.4 是同wv.most_similar 计算与某个词语最相似的词语
#  步骤2.4.1  使用要搜索的词和topn参数，计算与一个词语最相似的前topn个词语
top_n=8
word="疫情"
model_word=model.wv.most_similar(word,topn=top_n)
print('\n文本字典中与\"{}\"最相似的前{}个词语依次是'.format(word,top_n))
print([{"词语":item[0],"相似度":"%.5f"%item[1]} for item in model.wv.most_similar(word,topn=top_n)])

截图：

我们可以发现和疫情最相似的词语是冠状病毒。其次是病疫情，这应该是jieba分词的错误，第三个是新冠，和实际相符。

🚀5、计算其他形式的词语相似度

~👀5.1、最相似的五个词

代码：

list_1 = ['中国', '华盛顿']
list_2 = ['北京']
topn = 5
model_word =model.wv.most_similar(positive=list_1,negative=list_2,topn=topn)
print('\n与\"{}---{}+{}\"最相似的前5个词语为'.format(list_1[0],list_2[0],list_1[1],topn))
for item in model_word:print(item[0],'%.4f'%item[1])

截图：

我们可以发现还是挺准的，说明这个模型还是挺成功的。达到预期效果。

~👀5.2、wv.doesnt_match 找出列表中不属于同一类的词语**

代码：

word_list=['北京','上海','广州','纽约']
Not_need_country=model.wv.doesnt_match(word_list)
print(r'{}中不属于同一类的词语为：{}'.format(word_list,Not_need_country))

截图：

我们可以发现模型中的wv的doesn’t_match方法找到列表国家中不是同一类的国家。

💥实验小结

我们计算其他形式的词语相似度，主要应用 model 的 most_similar 和 doesnt_match 方法来完成它。利用维基百科训练出来的模型效果还是比较理想的，可以计算出多种形式下的词语相似度。由于已训练的词向量模型采用的是 2020 年 8 月 5 日中文维基百科数据语 料，2020 年是较为的特殊年份，“疫情”是主要话题，因此在计算“疫情” 与“新冠”之间的相似度，其值约为 0.839；与疫情最相似的 8 个词语中 均符合认知但是“电脑 现在 不贵”与“计算机 便宜”的相似度为 0.8281，按照认知， 这两句话的相似度应该能达到 0.9 以上。综上可得模型结果依赖于模型采用的语料库通用性较差，而且计算相似度的词语必须都存在模型训练前的训练数据中，不然会出现所计算相似的的词语不存在模型中之类的报错。所以，这个模型还有缺陷，但是这是固性问题，毕竟就是我们要判断两者有没有关系，也要通过大脑接受一些文本信息进行判断，只不过这个过程你们忽视而已。

有问题可以评论区打出来，或者私聊也可以的

觉得有用的可以给个三连，关注一波！！！带你了解更多的自然语言处理小知识