本文主要是介绍适用于大规模文档关键词抽取的利器(flashtext)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
从文档中抽取关键词并对关键词相关的变体进行替换，是信息抽取中常用的做法之一，特别是基于规则词典的方法。常见的实现方式是基于正则表达式的方式，2017年的这篇文档介绍则实现了一种全新的算法及其实现原理：flashtext (Replace or Retrieve Keywords In Documents at Scale)。该方法的效率如下图所示：(时间效率上可以看出是一条平衡的直线，不随文档词的数量变化而变化。)
这个算法实际上就只有一个python类。虽然是针对英文的，不过经过测试，对中文同样适用。里面对英文还提供了对大小写敏感、空格等的处理。中文则不需要这样复杂。
这篇关于适用于大规模文档关键词抽取的利器(flashtext)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
