结巴分词 java 高性能实现，优雅易用的 api 设计，性能优于 huaban jieba 分词

2023-10-22 05:18
文章标签 java 实现 设计 性能 优雅 api 高性能 分词 jieba 优于 易用 结巴 huaban

本文主要是介绍结巴分词 java 高性能实现，优雅易用的 api 设计，性能优于 huaban jieba 分词，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Segment

Segment 是基于结巴分词词库实现的更加灵活，高性能的 java 分词实现。

变更日志

创作目的

分词是做 NLP 相关工作，非常基础的一项功能。

jieba-analysis 作为一款非常受欢迎的分词实现，个人实现的 opencc4j 之前一直使用其作为分词。

但是随着对分词的了解，发现结巴分词对于一些配置上不够灵活。

（1）有很多功能无法指定关闭，比如 HMM 对于繁简体转换是无用的，因为繁体词是固定的，不需要预测。

（2）最新版本的词性等功能好像也被移除了，但是这些都是个人非常需要的。

（3）对于中文繁体分词支持不友好。

所以重新实现了一遍，希望实现一套更加灵活，更多特性的分词框架。

而且 jieba-analysis 的更新似乎停滞了，个人的实现方式差异较大，所以建立了全新的项目。

Features 特点

  • 面向用户的极简静态 api 设计

  • 面向开发者 fluent-api 设计，让配置更加优雅灵活

  • 详细的中文代码注释，便于源码阅读

  • 基于 DFA 实现的高性能分词

  • 基于 HMM 的新词预测

  • 支持不同的分词模式

  • 支持全角半角/英文大小写/中文繁简体格式处理

  • 允许指定自定义词库

最新变更

  • 支持中文繁体分词

快速入门

准备

jdk1.7+

maven 3.x+

maven 引入

<dependency><groupId>com.github.houbb</groupId><artifactId>segment</artifactId><version>0.1.2</version>
</dependency>

相关代码参见 SegmentHelperTest.java

默认分词示例

返回分词，下标等信息。

final String string = "这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱学习。";List<ISegmentResult> resultList = SegmentHelper.segment(string);
Assert.assertEquals("[这是[0,2), 一个[2,4), 伸手不见五指[4,10), 的[10,11), 黑夜[11,13), 。[13,14), 我[14,15), 叫[15,16), 孙悟空[16,19), ，[19,20), 我爱[20,22), 北京[22,24), ，[24,25), 我爱[25,27), 学习[27,29), 。[29,30)]", resultList.toString());

指定返回形式

有时候我们根据自己的应用场景，需要选择不同的返回形式。

SegmentResultHandlers 用来指定对于分词结果的处理实现，便于保证 api 的统一性。

方法实现说明
common()SegmentResultHandler默认实现，返回 ISegmentResult 列表
word()SegmentResultWordHandler只返回分词字符串列表

默认模式

默认分词形式，等价于下面的写法

List<ISegmentResult> resultList = SegmentHelper.segment(string, SegmentResultHandlers.common());

只获取分词信息

final String string = "这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱学习。";List<String> resultList = SegmentHelper.segment(string, SegmentResultHandlers.word());
Assert.assertEquals("[这是, 一个, 伸手不见五指, 的, 黑夜, 。, 我, 叫, 孙悟空, ，, 我爱, 北京, ，, 我爱, 学习, 。]", resultList.toString());

分词模式

分词模式简介

分词模式可以通过类 SegmentModes 工具类获取。

序号方法准确度性能备注
1search()高一般结巴分词的默认模式
2dict()较高一般和 search 模式类似，但是缺少 HMM 新词预测
3index()一般高尽可能多的返回词组信息，提高召回率
4greedyLength()一般高贪心最大长度匹配，对准确度要求不高时可采用。

使用方式

针对灵活的配置，引入了 SegmentBs 作为引导类，解决工具类方法配置参数过多的问题。

测试代码参见 SegmentModeTest.java

search 模式

segmentMode() 指定分词模式，不指定时默认就是 SegmentModes.search()。

final String string = "这是一个伸手不见五指的黑夜。";List<ISegmentResult> resultList = SegmentBs.newInstance().segmentMode(SegmentModes.search()).segment(string);Assert.assertEquals("[这是[0,2), 一个[2,4), 伸手不见五指[4,10), 的[10,11), 黑夜[11,13), 。[13,14)]", resultList.toString());

dict 模式

只依赖词库实现分词，没有 HMM 新词预测功能。

final String string = "这是一个伸手不见五指的黑夜。";List<ISegmentResult> resultList = SegmentBs.newInstance().segmentMode(SegmentModes.dict()).segment(string);
Assert.assertEquals("[这[0,1), 是[1,2), 一个[2,4), 伸手不见五指[4,10), 的[10,11), 黑夜[11,13), 。[13,14)]", resultList.toString());

index 模式

这里主要的区别就是会返回 伸手、伸手不见 等其他词组。

final String string = "这是一个伸手不见五指的黑夜。";List<ISegmentResult> resultList = SegmentBs.newInstance().segmentMode(SegmentModes.index()).segment(string);
Assert.assertEquals("[这[0,1), 是[1,2), 一个[2,4), 伸手[4,6), 伸手不见[4,8), 伸手不见五指[4,10), 的[10,11), 黑夜[11,13), 。[13,14)]", resultList.toString());

GreedyLength 模式

这里使用贪心算法实现，准确率一般，性能较好。

final String string = "这是一个伸手不见五指的黑夜。";List<ISegmentResult> resultList = SegmentBs.newInstance().segmentMode(SegmentModes.greedyLength()).segment(string);
Assert.assertEquals("[这[0,1), 是[1,2), 一个[2,4), 伸手不见五指[4,10), 的[10,11), 黑夜[11,13), 。[13,14)]", resultList.toString());

格式化处理

格式化接口

可以通过 SegmentFormats 工具类获取对应的格式化实现，在分词时指定即可。

序号方法名称说明
1defaults()默认格式化等价于小写+半角处理。
2lowerCase()字符小写格式化英文字符处理时统一转换为小写
3halfWidth()字符半角格式化英文字符处理时统一转换为半角
4chineseSimple()中文简体格式化用于支持繁体中文分词
5none()无格式化无任何格式化处理
6chains(formats)格式化责任链你可以针对上述的格式化自由组合，同时允许自定义格式化。

默认格式化

全角半角+英文大小写格式化处理，默认开启。

这里的 Ｑ 为全角大写，默认会被转换处理。

String text = "阿Ｑ精神";
List<ISegmentResult> segmentResults = SegmentHelper.segment(text);Assert.assertEquals("[阿Ｑ[0,2), 精神[2,4)]", segmentResults.toString());

中文繁体分词

无论是结巴分词还是当前框架，默认对繁体中文的分词都不友好。

默认分词示例

显然和简体中文的分词形式不同。

String text = "這是一個伸手不見五指的黑夜";List<String> defaultWords = SegmentBs.newInstance().segment(text, SegmentResultHandlers.word());
Assert.assertEquals("[這是, 一, 個, 伸手, 不見, 五指, 的, 黑夜]", defaultWords.toString());

启用中文繁体分词

指定分词中文格式化，可以得到符合我们预期的分词。

String text = "這是一個伸手不見五指的黑夜";List<String> defaultWords = SegmentBs.newInstance().segmentFormat(SegmentFormats.chineseSimple()).segment(text, SegmentResultHandlers.word());
Assert.assertEquals("[這是, 一個, 伸手不見五指, 的, 黑夜]", defaultWords.toString());

格式化责任链

格式化的形式可以有很多，我们可以根据自己的需求自由组合。

比如我们想同时启用默认格式化+中文简体格式化。

final String text = "阿Ｑ，這是一個伸手不見五指的黑夜";List<String> defaultWords = SegmentBs.newInstance().segmentFormat(SegmentFormats.chains(SegmentFormats.defaults(),SegmentFormats.chineseSimple())).segment(text, SegmentResultHandlers.word());
Assert.assertEquals("[阿Ｑ, ，, 這是, 一個, 伸手不見五指, 的, 黑夜]", defaultWords.toString());

Benchmark 性能对比

性能对比

性能对比基于 jieba 1.0.2 版本，测试条件保持一致，保证二者都做好预热，然后统一处理。

验证下来，默认模式性能略优于 jieba 分词，贪心模式是其性能 3 倍左右。

备注：

（1）默认模式和结巴 Search 模式一致。

后期考虑 HMM 也可以配置是否开启，暂定为默认开启

（2）后期将引入多线程提升性能。

代码参见 BenchmarkTest.java

性能对比图

相同长文本，循环 1W 次耗时。（Less is Better）

在这里插入图片描述

后期 Road-Map

核心特性

  • HMM 词性标注

  • HMM 实体标注

  • CRF 算法实现

  • N 元组算法实现

优化

  • 多线程的支持，性能优化

  • 双数组 DFA 实现，降低内存消耗

辅助特性

  • 拓展自定义词库的特性

创作感谢

感谢 jieba 分词提供的词库，以及 jieba-analysis 的相关实现。

这篇关于结巴分词 java 高性能实现，优雅易用的 api 设计，性能优于 huaban jieba 分词的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/259277。

相关文章

Spring Boot整合Redis注解实现增删改查功能(Redis注解使用)

Spring Boot整合Redis注解实现增删改查功能(Redis注解使用)

《SpringBoot整合Redis注解实现增删改查功能(Redis注解使用)》文章介绍了如何使用SpringBoot整合Redis注解实现增删改查功能,包括配置、实体类、Repository、Se... 目录配置Redis连接定义实体类创建Repository接口增删改查操作示例插入数据查询数据删除数据更
阅读更多...
Java Lettuce 客户端入门到生产的实现步骤

Java Lettuce 客户端入门到生产的实现步骤

《JavaLettuce客户端入门到生产的实现步骤》本文主要介绍了JavaLettuce客户端入门到生产的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录1 安装依赖MavenGradle2 最小化连接示例3 核心特性速览4 生产环境配置建议5 常见问题
阅读更多...
Java使用Swing生成一个最大公约数计算器

Java使用Swing生成一个最大公约数计算器

《Java使用Swing生成一个最大公约数计算器》这篇文章主要为大家详细介绍了Java使用Swing生成一个最大公约数计算器的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下... 目录第一步：利用欧几里得算法计算最大公约数欧几里得算法的证明情形 1：b=0情形 2：b>0完成相关代码第二步：加
阅读更多...
linux ssh如何实现增加访问端口

linux ssh如何实现增加访问端口

《linuxssh如何实现增加访问端口》Linux中SSH默认使用22端口,为了增强安全性或满足特定需求,可以通过修改SSH配置来增加或更改SSH访问端口,具体步骤包括修改SSH配置文件、增加或修改... 目录1. 修改 SSH 配置文件2. 增加或修改端口3. 保存并退出编辑器4. 更新防火墙规则使用uf
阅读更多...
Java 的ArrayList集合底层实现与最佳实践

Java 的ArrayList集合底层实现与最佳实践

《Java的ArrayList集合底层实现与最佳实践》本文主要介绍了Java的ArrayList集合类的核心概念、底层实现、关键成员变量、初始化机制、容量演变、扩容机制、性能分析、核心方法源码解析、... 目录1. 核心概念与底层实现1.1 ArrayList 的本质1.1.1 底层数据结构JDK 1.7
阅读更多...
Java Map排序如何按照值按照键排序

Java Map排序如何按照值按照键排序

《JavaMap排序如何按照值按照键排序》该文章主要介绍Java中三种Map（HashMap、LinkedHashMap、TreeMap）的默认排序行为及实现按键排序和按值排序的方法,每种方法结合实... 目录一、先理清 3 种 Map 的默认排序行为二、按「键」排序的实现方式1. 方式 1：用 TreeM
阅读更多...
Java中流式并行操作parallelStream的原理和使用方法

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流（parallelStream）的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS
阅读更多...
C++中unordered_set哈希集合的实现

C++中unordered_set哈希集合的实现

《C++中unordered_set哈希集合的实现》std::unordered_set是C++标准库中的无序关联容器,基于哈希表实现,具有元素唯一性和无序性特点,本文就来详细的介绍一下unorder... 目录一、概述二、头文件与命名空间三、常用方法与示例1. 构造与析构2. 迭代器与遍历3. 容量相关4
阅读更多...
Java中Redisson 的原理深度解析

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、
阅读更多...
C++中悬垂引用(Dangling Reference) 的实现

C++中悬垂引用(Dangling Reference) 的实现

《C++中悬垂引用(DanglingReference)的实现》C++中的悬垂引用指引用绑定的对象被销毁后引用仍存在的情况,会导致访问无效内存,下面就来详细的介绍一下产生的原因以及如何避免,感兴趣... 目录悬垂引用的产生原因1. 引用绑定到局部变量，变量超出作用域后销毁2. 引用绑定到动态分配的对象，对象
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2