鬼吹灯文本挖掘4：LDA模型提取文档主题 sklearn LatentDirichletAllocation和gensim LdaModel

鬼吹灯文本挖掘1：jieba分词和CountVectorizer向量化

鬼吹灯文本挖掘2：wordcloud 词云展示

鬼吹灯文本挖掘3：关键词提取和使用sklearn 计算TF-IDF矩阵

鬼吹灯文本挖掘5：sklearn实现文本聚类和文本分类

注：tfidf_mat数据准备可参考鬼吹灯文本挖掘3

1. Sklearn实现LDA模型，并提取文档主题

     （1）其中参数n_topics是主题个数，max_iter是迭代次数

    （2）lda_model.components_中每行代表一个主题，每行中的每个元素代表对应词属于这个主题的得分

from sklearn.decomposition import LatentDirichletAllocation
n_topics = 8      # 自定义主题个数
lda_model = LatentDirichletAllocation(n_topics = n_topics, max_iter = 10)
# 使用TF-IDF矩阵拟合LDA模型
lda_model.fit(tfidf_mat)# 拟合后模型的实质
print(lda_model.components_.shape)
lda_model.components_[:2](8, 1654)
Out[105]:
array([[0.30237038, 0.29720752, 0.31504618, ..., 0.33985295, 0.2906448 ,0.3043558 ],[0.29870912, 0.30435234, 0.31793515, ..., 0.3215601 , 0.32073196,0.31859002]])

（3）其中argsort() 取元素的索引值，并将指最小的元素对应的索引值放在最前面，依次按元素值的大小顺序排列。
        对列表操作[:-n_top_words-1:-1] 表示取最后n_top_words个元素后，再将这些元素顺序逆转。
        即取元素值最大的前n_top_words个元素对应索引值。

# 主题词打印函数
def print_top_words(model, feature_names, n_top_words):for topic_idx,topic in enumerate(model.components_):print("Topic #%d:"%topic_idx)print(" ".join([feature_names[i] for i in topic.argsort()[:-n_top_words-1:-1]]))print()n_top_words = 12
tf_feature_names = c_vectorizer.get_feature_names()
print_top_words(lda_model, tf_feature_names, n_top_words)Topic #0:
强烈 遭到 肚子 亲自 有名 打着 不可思议 全是 半截 遇到 一层 下去
Topic #1:
将近 考古 详细 突然 大个子 人们 照明 听说 空气 说起 小孩 最后
Topic #2:
故事 胖子 方向 沙漠 岔开 马上 也许 地下 沙子 不停 好像 激动
Topic #3:
全都 接近 一天 研究 只见 接触 感觉 解放军 扔进 所有人 地下 漆黑
Topic #4:
一个 我们 火焰 要塞 这座 棺材 看来 一边 上去 胖子 昏迷不醒 双手
Topic #5:
时候 那么 超过 一面 里面 山石 胖子 两具 玉石 接近 什么 整整
Topic #6:
外边 精绝 找个 最高 坚固 下边 遇到 进行 手上 沙漠 规模 一丝
Topic #7:
我们 胖子 什么 一个 没有 沙漠 他们 就是 咱们 陈教授 但是 这些

2. gensim实现LDA模型

    （1）计算TF-IDF矩阵：

# 文档处理，提取主题词
def my_cut2(inTxt):inTxt = re.sub('[a-zA-Z0-9]','',inTxt)jieba.lcut(inTxt)words_list = jieba.lcut(inTxt)return [w for w in words_list if w not in stop_words_dict and len(w) > 1]chaplist = [my_cut2(w) for w in gcd1_chap.words_list]   # 形式为list of listfrom gensim import corpora, modelsdictionary = corpora.Dictionary(chaplist)
corpus = [dictionary.doc2bow(text) for text in chaplist]   # 仍为list of list
corpus    # 稀疏矩阵，第一个元素为词的序号，第二个为词频tfidf_model = models.TfidfModel(corpus)  # 建立TF-IDF模型
corpus_tfidf = tfidf_model[corpus]        # 对所需文档计算TF-IDF结果, 不能直接被sklearn使用
corpus_tfidf
<gensim.interfaces.TransformedCorpus at 0x2c2941e7048>

from gensim.models import LdaModel#列出所消耗时间备查
%time ldamodel = LdaModel(corpus_tfidf, id2word = dictionary, num_topics = 8, passes = 10)  # passes表示迭代循环次数# 列出最重要的前若干个主题
ldamodel.print_topics()[(0,'0.001*"石匣" + 0.000*"先知" + 0.000*"羊皮" + 0.000*"陈教授" + 0.000*"预言" + 0.000*"沙漠" + 0.000*"石梁" + 0.000*"红犼" + 0.000*"尸香魔芋" + 0.000*"狼牙棒"'),(1,'0.000*"蝙蝠" + 0.000*"草原大地獭" + 0.000*"沙漠" + 0.000*"英子" + 0.000*"骆驼" + 0.000*"冲锋枪" + 0.000*"安力满" + 0.000*"要塞" + 0.000*"黑沙漠" + 0.000*"棺材"'),(2,'0.000*"胡国华" + 0.000*"孙先生" + 0.000*"野人" + 0.000*"燕子" + 0.000*"郝爱国" + 0.000*"屯子" + 0.000*"山口" + 0.000*"城中" + 0.000*"安力满" + 0.000*"插队"'),(3,'0.000*"幻觉" + 0.000*"耳光" + 0.000*"摸金符" + 0.000*"制造" + 0.000*"解开" + 0.000*"盗墓者" + 0.000*"大祭司" + 0.000*"搞清楚" + 0.000*"圣者" + 0.000*"药物"'),(4,'0.000*"洛宁" + 0.000*"大个子" + 0.000*"班长" + 0.000*"指导员" + 0.000*"火球" + 0.000*"雪崩" + 0.000*"赵萍萍" + 0.000*"霸王蝾螈" + 0.000*"平台" + 0.000*"石柱"'),(5,'0.000*"野猪" + 0.000*"洛宁" + 0.000*"九层妖楼" + 0.000*"刘工" + 0.000*"云母" + 0.000*"殉葬" + 0.000*"先知" + 0.000*"骆驼" + 0.000*"沙漠" + 0.000*"先圣"'),(6,'0.000*"胡国华" + 0.000*"野猪" + 0.000*"老鼠" + 0.000*"英子" + 0.000*"舅舅" + 0.000*"石像" + 0.000*"野人" + 0.000*"王二" + 0.000*"杠子" + 0.000*"大金牙"'),(7,'0.000*"大金牙" + 0.000*"洛阳铲" + 0.000*"摸金校尉" + 0.000*"倒斗" + 0.000*"奉献" + 0.000*"唇典" + 0.000*"匣子" + 0.000*"元良" + 0.000*"黑道" + 0.000*"铁钎"')]

（3） 检索和文本内容最接近的主题

      a. 根据词频向量进行计算

# 检索和文本内容最接近的主题
query = gcd1_chap.txt[1]       # 检索和第一回最接近的主题
query_bow = dictionary.doc2bow(my_cut2(query))       # 频数向量
query_idf = tfidf_model[query_bow]                 # TF-IDF向量ldamodel.get_document_topics(query_bow)            # 需要输入和文档对应的bow向量
[(0, 0.030599635), (6, 0.96860933)]

ldamodel[query_bow]         # 和以下语句的结果一致 ldamodel.get_document_topics(query_bow) 
[(0, 0.030602157), (6, 0.9686068)]

     b. 根据TF-IDF向量进行计算 

ldamodel.get_document_topics(query_idf) 
[(6, 0.93530923)]ldamodel[query_idf]            # 和以下语句的结果一致 ldamodel.get_document_topics[query_idf]
[(6, 0.9353105)]

    c. 验证：可以看出 "字符串query和第6个主题高度接近" 这个结论还是比较靠谱的