Mac版R语言(六)文本挖掘(用户词库的导入、批量导入搜狗词库)

2023-11-21 13:59

本文主要是介绍Mac版R语言(六)文本挖掘(用户词库的导入、批量导入搜狗词库),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

R语言问题讨论交流,欢迎关注我的新浪微博:Jenny爱学习

文本挖掘应用的博客将分4个部分分别讨论完成,本篇将完成part 1的详细project:

  1. 用户字典批量安装,自定义分词词库,自建分词packages的安装
  2. jiebaR分词的使用
  3. 词云的绘制(wordcloud2详细使用见:Mac版R语言(四)使用wordcloud2画词云点击打开链接)
  4. k-means聚类

运行环境Platform: x86_64-apple-darwin13.4.0 (64-bit),MacOS Sierra 10.12.3,R3.3.2 (2016-10-31),涉及到的所有packages均更新下载于2017-6月。

所有代码均已全部运行,结果附图,有任何问题欢迎留言讨论。

1.  分词常用packages


1.1 R提供的文本挖掘packages:

  •  tm:英文分词工具
  • jiebaR:中文分词工具,本身是C++写的,具有极高的运算处理速度
  • Rwordseg:中文分词工具,Mac版依赖旧版本的Java,较难安装,版本更新慢,不推荐使用
  • chinese.misc:中文分词工具,内核基于Rwordseg
  • rmmseg4j:
  • snowball:英文词干化
1.2 其他常用汉语分词系统:
  • 中科院NLPIR汉语分词系统   :零代码在线版  点击打开链接
  • 微软word2vec:基于深度学习的文本挖掘系统


2.  用户词典的建立

 2.1 词库下载
        jiebaR作为目前R平台上最好的中文分词工具,虽然其自带词库和停用词库,但是对于不同行业的研究者来说,自带词库并不能满足所有的研究需求。因此,用户需要自己安装行业内的专用词库,具体词库可以从搜狗词库上下载安装:点击打开链接


2. 2 单个词典导入

2.2.1 零代码转换分词词库
             如果只需要导入单个词典,推荐使用在线版本的词库转换工具,同样是来自jiebaR作者Qin Wenfeng,点击链接进行在线转换:
       点击打开链接


2.2.2  代码导入词库
    cidian包的下载安装方法见下方:2.3 批量词库导入。
新建Rproject工程文件,将project工程文件建立在搜狗词典库同文件夹中。
结果如下图:
在得到的文件中,将转化后的后缀名为.dict搜狗词库名称改为user.dict.utf8,并替换原文件,就将搜狗词典转换为默认的用户词典了。

2.3  批量词库导入
        
  需要进行分词的文档可能综合了许多学科,因此仅仅使用单个词库并不能分出许多不同行业的专用词,这时就需要批量导入多学科词库,对文档进行分词。
        批量导入搜狗词库需要cidian这个package,在R上查看cidian的文档信息,cidian这个包同样来自jiebaR的作者Qin Wenfeng。
        11、13、14行的注释:在载入cidian的时候还需要载入Rcpp和RcppProgress、stringi、pbapply、jiebaR这五个程序包。
        由于词典发布在github上,因此Mac环境下需要借助devtools这个packages安装下载(后面有详细介绍),windows环境需要安装Rtools开发工具才能安装cidian包。

    安装jiebaR中批量导入词库的package
   打开R,根据文档,执行以下代码:       
结果截图


整个代码运行的过程中,要确保每个文件的路径正确,否则可能会生成一些空数据集,

代码运行后,词库所在的文件夹中会生成对应.scel词库的.txt.文件格式,如下图:
将所有生成的.txt文件合并为一个文件

这时得到一个全部.txt格式词库的文件,R中environment显示,整理后的词库约有30万条专业词汇,21.6M:
使用unique()函数去掉重复词语,还剩28万条词:


最后,将去重的词库写出:
write.table(dict1,file = "use.dict.utf8",quote = F,row.names = F,col.names = F,fileEncoding = "UTF-8")
在Rproject文件夹中得到如下结果:
按照2.2.2 中介绍的替换词库的方法,将生成的词库替换至jiebaR的默认用户词库即可。




这篇关于Mac版R语言(六)文本挖掘(用户词库的导入、批量导入搜狗词库)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/402777

相关文章

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

Go语言中make和new的区别及说明

《Go语言中make和new的区别及说明》:本文主要介绍Go语言中make和new的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 概述2 new 函数2.1 功能2.2 语法2.3 初始化案例3 make 函数3.1 功能3.2 语法3.3 初始化

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

Java easyExcel实现导入多sheet的Excel

《JavaeasyExcel实现导入多sheet的Excel》这篇文章主要为大家详细介绍了如何使用JavaeasyExcel实现导入多sheet的Excel,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录1.官网2.Excel样式3.代码1.官网easyExcel官网2.Excel样式3.代码

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

Go语言代码格式化的技巧分享

《Go语言代码格式化的技巧分享》在Go语言的开发过程中,代码格式化是一个看似细微却至关重要的环节,良好的代码格式化不仅能提升代码的可读性,还能促进团队协作,减少因代码风格差异引发的问题,Go在代码格式... 目录一、Go 语言代码格式化的重要性二、Go 语言代码格式化工具:gofmt 与 go fmt(一)