使用python读取word统计词频并生成词云

2024-04-28 20:18

本文主要是介绍使用python读取word统计词频并生成词云,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、准备

需要用到python-docx,jieba和wordcloud模块,先install

pip3 install jieba
pip install wordcloud

2、开始代码

(1)导入需要用到的模块

import re
import jieba
import docx
from wordcloud import WordCloud
import matplotlib.pyplot as plt

(2)读取word文档的文本内容

此模块主要使用到了python-docx,官方文档地址:

注意是import docx 而不是python-docx,我们主要处理获取了表格中的文本信息和正常段落中的文本信息。

#输入参数path为word文档所在路径
def readFile(path):file=docx.Document(path)# 读取每一段的内容article = ' 'for para in file.paragraphs:if para != '/n':article = article + '' + para.text# file.paragraphs只能读取到文档中正常段落中的文本信息,却无法读取到文档中表格里的内容,所以我们还需要继续将表格中的内容也读取出来进行合并# 获取文档中表格信息tables = file.tables  # 获取文档中所有表格对象的列表for i in range(len(tables)):table0 = tables[i]  # 获取表格对象# 获取一个表格的所有单元格cells = table0._cells# 获取单元格内所有文字信息cells_string = [cell.text.replace('\n', ' ').replace('\r', ' ') for cell in cells]# print(cells_string)for i in range(len(cells_string)):article = article + cells_string[i].strip()return article

(3)使用jieba进行分词

结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式

精确模式:试图将句子最精确地切开,适合文本分析;

全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

def wordFrequency(a):# print(article)# print(len(article))# 全模式 cut_all=True# seq_list=jieba.cut(article,cut_all=True)# print(seq_list) #<generator object Tokenizer.cut at 0x0000026EB6F0CD58># print('全模式',list(seq_list))# 精确模式 (默认模式) cut_all =False# seq_list=jieba.cut(article,cut_all=False)# print('精确模式',list(seq_list))# 搜索引擎模式 cut_for_searchseq_list = jieba.cut_for_search(article, )# print('搜索引擎模式',list(seq_list))#通过符号将字符串分割开articleSplit = re.split(" |,|\.|,|。|;|;|、|:|:|:", article)sep_list = " ".join(articleSplit)  # 转为字符串# print(sep_list)articleSplit = seq_listd = {}#需要忽略的符号集合fuhao = [',', '.', ' ', ':', ':', ',', '。', '[', ']', ';', ';', '(', ')', '(', ')', '!', '!']#统计词频for key in articleSplit:if key in d.keys():d[key] = d[key] + 1else:if (len(key.strip()) == 0 or key in fuhao):continued[key] = 1wordlist = ''for key in d:# print(key,d[key])wordlist = wordlist + ' ' + key# print(wordlist)#根据词频进行排序sort_words = sorted(d.items(), key=lambda x: x[1], reverse=True)print(sort_words)return wordlist

(4)词云绘制

def wordcloudGenerate(wordlist):wc = WordCloud(background_color='white',max_words=2000,width=800,height=600,relative_scaling=1,max_font_size=80,random_state=40,font_path="simhei.ttf")# 生成词云wc.generate(wordlist)# 在只设置mask的情况下,你将会得到一个拥有图片形状的词云plt.rcParams['savefig.dpi'] = 300  # 图片像素plt.rcParams['figure.dpi'] = 300  # 分辨率plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()

(5)运行程序

#获取文档对象
path = "D:\\Users\\ASUS-BOOK\\Desktop\\蜀道难.docx"
article = readFile(path)
wordlist = wordFrequency(article)
wordcloudGenerate(wordlist)

在这里插入图片描述

(6)效果图

在这里插入图片描述

这篇关于使用python读取word统计词频并生成词云的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/944165

相关文章

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

Java docx4j高效处理Word文档的实战指南

《Javadocx4j高效处理Word文档的实战指南》对于需要在Java应用程序中生成、修改或处理Word文档的开发者来说,docx4j是一个强大而专业的选择,下面我们就来看看docx4j的具体使用... 目录引言一、环境准备与基础配置1.1 Maven依赖配置1.2 初始化测试类二、增强版文档操作示例2.

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》:本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu