利用python对简书文章进行文本挖掘【词云/word2vec/LDA/t-SNE】

这是一个快速上手词云/word2vec/LDA/t-SNE的一个小例子，实践之后，可以让大家对这些方法有初步的了解。

以下代码在jupyter notebook中测试通过，代码请戳这里。

简单介绍下数据

简书有个简书交友的专题，某知名博主爬取了该专题2700余篇文章，我就偷个懒直接拿来用了～
数据呢，大概就是长这个样子了：

主要涵盖：作者，主页URL，文章标题，发布时间，阅读量，评论数，喜欢数，文章摘要，文章URL，文中图片URL列表，文章内容等等维度。

该demo实现目标

• 绘制文章词云
• 利用word2vec查找具有高相关性的词语，并绘图显示
• 利用LDA主题模型总结出每篇文章的主题词

提取出文章中的200个关键词绘制词云

光是提取关键字我知道的就有三种方法，分别是：

• 利用counter.most_common()方法直接获取
• jieba.analyse.extract_tags()
• jieba.analyse.textrank()

思路也是惊人的一致：
分词–》提取关键词–》利用WordCloud绘制词云

import warnings
# 忽略警告
warnings.filterwarnings('ignore')content = df['Artical_Content'].tolist()# 载入停用词
# quoting : int or csv.QUOTE_* instance, default 0
# 控制csv中的引号常量。可选 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3) 
stopwords = pd.read_csv('./chinesestopword.txt',sep='\n',encoding='utf-8',names=['stopwords'],header=None,quoting=3)# 结巴分词
import re
import jieba
from collections import Counterpattern = re.compile('\d+')# 存放词语和词频
wordsCounter = Counter()for line in content:segs = jieba.lcut(line)for seg in segs:if len(seg)>1 and seg != '\r\n' and re.search(pattern,seg)==None:wordsCounter[seg] += 1# 将Counter的键提取出来做list
segment = list(wordsCounter)# 将分好的词列表转化为词典
words = pd.DataFrame({'segment':segment})# 剔除停用词
words = words[~words['segment'].isin(stopwords['stopwords']