中文分句的解决方案

本文主要是介绍中文分句的解决方案，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

诸神缄默不语-个人CSDN博文目录

文章目录

1. 手写规则，通过标点符号分句
2. 引号内算一句话
3. spacy包
4. ltp包
5. 相关分句工作参考资料

1. 手写规则，通过标点符号分句

我的写法参考自https://github.com/bojone/bert4keras/blob/master/bert4keras/snippets.py#L336。原函数除直接分句之外，还可以实现按照标点符号在指定长度下进行chunk（指定长度，到该长度就找标点符号进行截断）

def text_segmentate(text, maxlen, seps='\n', strips=None):"""将文本按照标点符号划分为若干个短句"""text = text.strip().strip(strips)if seps and len(text) > maxlen:pieces = text.split(seps[0])text, texts = '', []for i, p in enumerate(pieces):if text and p and len(text) + len(p) > maxlen - 1:texts.extend(text_segmentate(text, maxlen, seps[1:], strips))text = ''if i + 1 == len(pieces):text = text + pelse:text = text + p + seps[0]if text:texts.extend(text_segmentate(text, maxlen, seps[1:], strips))return textselse:return [text]sentences=text_segmentate(original_text,1,'。：（）；:“”，,')

2. 引号内算一句话

代码来自https://github.com/GLZ1925/-

#coding:utf-8
import retext = "“喂！路明非！你给我站住！”叔叔追了出来，在走廊尽头冲他低吼。路明非实在没时间让他兴师问罪了，只好说：“叔叔我真有事得先走，什么事以后再说！”叔叔可不听他说，跑过来一把抓住他的手：“你小子给我说老实话？是不是在外面惹事了？我看外面都是警车还有流氓，他们都是冲你来的？”“没……没有……”路明非想辩解。“你小子真不是骗我们说上学其实跑日本来混黑道了吧？”叔叔瞪着他。“真不是，这事儿一时没法解释……”叔叔从屁股后面摸出金利来的钱包，打开来夹层里有几张日圆钞票，大概一万多的样子。他把那张万圆大钞塞进路明非手里：“叔叔不知道你惹了什么麻烦，你们年轻人见的世面大，有些事不愿告诉我们大人，我问也没用。我以前也惹过事跑过路，跑路身上千万得有现金！银行卡信用卡跑车都没用！”"
def normal_cut_sentence(text):text = re.sub('([。！？\?])([^’”])',r'\1\n\2',text)#普通断句符号且后面没有引号text = re.sub('(\.{6})([^’”])',r'\1\n\2',text)#英文省略号且后面没有引号text = re.sub('(\…{2})([^’”])',r'\1\n\2',text)#中文省略号且后面没有引号text = re.sub('([.。！？\?\.{6}\…{2}][’”])([^’”])',r'\1\n\2',text)#断句号+引号且后面没有引号return text.split("\n")def cut_sentence_with_quotation_marks(text):p = re.compile("“.*?”")list = []index = 0length = len(text)for i in p.finditer(text):temp = ''start = i.start()end = i.end()for j in range(index, start):temp += text[j]if temp != '':temp_list = normal_cut_sentence(temp)list += temp_listtemp = ''for k in range(start, end):temp += text[k]if temp != ' ':list.append(temp)index = endreturn listif __name__ == '__main__':print(cut_sentence_with_quotation_marks(text))

输出：
['“喂！路明非！你给我站住！”', '叔叔追了出来，在走廊尽头冲他低吼。', '路明非实在没时间让他兴师问罪了，只好说：', '“叔叔我真有事得先走，什么事以后再说！”', '叔叔可不听他说，跑过来一把抓住他的手：', '“你小子给我说老实话？是不是在外面惹事了？我看外面都是警车还有流氓，他们都是冲你来的？”', '“没……没有……”', '路明非想辩解。', '“你小子真不是骗我们说上学其实跑日本来混黑道了吧？”', '叔叔瞪着他。', '“真不是，这事儿一时没法解释……”', '叔叔从屁股后面摸出金利来的钱包，打开来夹层里有几张日圆钞票，大概一万多的样子。', '他把那张万圆大钞塞进路明非手里：', '“叔叔不知道你惹了什么麻烦，你们年轻人见的世面大，有些事不愿告诉我们大人，我问也没用。我以前也惹过事跑过路，跑路身上千万得有现金！银行卡信用卡跑车都没用！”']

3. spacy包

其实也是按标点符号分句

import spacynlp = spacy.load("zh_core_web_sm")
nlp.add_pipe('sentencizer', name='sentence_segmenter', before='parser')doc = nlp(original_text)
for sent in doc.sents:print(sent.text)  #就是这句话

4. ltp包

http://ltp.ai/docs/quickstart.html#id4

pip install ltp

from ltp import StnSplit
sents = StnSplit().split("汤姆生病了。他去了医院。")
# [
#   "汤姆生病了。",
#   "他去了医院。"
# ]sents = StnSplit().batch_split(["他叫汤姆去拿外衣。", "汤姆生病了。他去了医院。"])# [
#   "他叫汤姆去拿外衣。",
#   "汤姆生病了。",
#   "他去了医院。"
# ]