本文主要是介绍IK分词源码分析连载(一)--主流程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
转载请注明出处：
http://blog.chinaunix.net/uid-20761674-id-3423941.html
IK分词全名IK Analyzer，是基于Java语言开发的轻量级的中文分词工具包。像lucence等开源搜索引擎都可以使用IK进行分词处理。使用Java的同学有很多人都使用过IK
但是IK从2006年发布以来，还没人发布过源码分析介绍(也有可能是本人google技术不过关)，这个连载系列会把自己对IK源码的分析写出来和大家分享
源码来自IK分词的2012版本，请google 'ik分词 google code' 查找源码
下面直接进入正题：
暂时跳过了IK分词的初始化过程，先简单的说明下：
初始化最主要的工作就是读入1.main2012.dic(关键词)2.quantifier.dic(量词)3.stopword.dic(停用词)4.ext.dic(扩展词,可选),将这些词放入内存字典树。
先走匹配的核心流程，从一段最简单的IK示例开始。
while ((lexeme = ik.next()) != null) {
wordName = lexeme.getLexemeText();
pos = lexeme.getBeginPosition();
System.out.println("wordName: " + wordName + " pos: " + pos);
}
最主要的就是ik.next()方法
/**
* 分词，获取下一个词元
* @return Lexeme 词元对象
* @throws IOException
*/
public synchronized Lexeme next()throws IOException{
if(this.context.hasNextResult()){
//存在尚未输出的分词结果
return this.context.getNextLexeme();
}else{
/*
* 从reader中读取数据，填充buffer
* 如果reader是分次读入buffer的，那么buffer要进行移位处理
* 移位处理上次读入的但未处理的数据
*/
int available = context.fillBuffer(this.input);
if(available <= 0){
//reader已经读完
context.reset();
return null;
}else{
//初始化指针
context.initCursor();
do{
//遍历子分词器
for(ISegmenter segmenter : segmenters){
segmenter.analyze(context);
}
//字符缓冲区接近读完，需要读入新的字符
if(context.needRefillBuffer()){
break;
}
//向前移动指针
}while(context.moveCursor());
//重置子分词器，为下轮循环进行初始化
for(ISegmenter segmenter : segmenters){
segmenter.reset();
}
}
//对分词进行歧义处理
this.arbitrator.process(context, this.cfg.useSmart());
//处理未切分CJK字符
context.processUnkownCJKChar();
//记录本次分词的缓冲区位移
context.markBufferOffset();
//输出词元
if(this.context.hasNextResult()){
return this.context.getNextLexeme();
}
return null;
}其中几个主要的方法说明如下：
- 读入待匹配的文本
int available = context.fillBuffer(this.input);- 初始化文本指针，指向文本中的第一个字符
context.initCursor();-
- 遍历分词器，进行分词处理，这里是最核心的流程之一，将待匹配文本生成分词候选集。
- 总共有三种分词器CJKSegmenter(中文分词器)、CN_QuantifierSegment(数量词分词器)、LetterSegment(字母数字分词器)，每种分词器的分词方法是独立的，各自生成自己的分词结果，放到分词候选集里
for(ISegmenter segmenter : segmenters){
segmenter.analyze(context);
}
- 处理完一个字符之后，文本指针后移一位，直到处理完所有待匹配文本
while(context.moveCursor());- 生成分词候选集之后，进行歧义处理，歧义处理方法区分智能和非智能，也就是在初始化IKSegment时传递的第二个参数IKSegmenter(Reader input, boolean useSmart)。
- 其功能是根据分词候选集和歧义处理策略，生成最后的分词结果，具体策略后面介绍
//对分词进行歧义处理
this.arbitrator.process(context, this.cfg.useSmart());
- 处理未切分CJK字符
//处理未切分CJK字符
context.processUnkownCJKChar();
-
记录本次分词的缓冲区位置
//记录本次分词的缓冲区位移
context.markBufferOffset();
主要流程介绍完了，并不复杂，其实IK分词算是比较简单的分词方法了，没有复杂的智能算法在里面
- 下一篇介绍三种子分词器的作用IK分词源码分析连载(二)--子分词器
这篇关于IK分词源码分析连载(一)--主流程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
