Lucene5学习之NumericRangeQuery使用

2023-11-02 01:48

本文主要是介绍Lucene5学习之NumericRangeQuery使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    说到NumericRangeQuery查询,你们肯定觉得很简单,不就是数字范围查询吗?用户提供一个上限值和一个下限值,底层API里直接>min,<max,真的是这样吗?其实在Lucene里只能对字符串String建立索引,那么数字怎么转成String,你肯定又会想当然的认为toString()一下就OK啦?OK,假如真的是这样的,那字符串"3" > "26"问题怎么解决?OK,可以通过在数字前面加前导零解决,“03”<"26"是没错,可是前导零加几位没法确定,加多了浪费硬盘空间,加少了支持索引的数字位数受限。即使你解决了位数受限问题,但Lucene里的范围查询本质还是通过BooleanQuery进行条件连接起来的,term条件太多还是会出现too many boolean Clause异常的。其实Lucene内部是把数字(int,long,float,double)转成十六进制的数字来处理的。具体怎么转成的请参看NumericUtils这个工具类的源码,

 

/*** Converts a <code>float</code> value to a sortable signed <code>int</code>.* The value is converted by getting their IEEE 754 floating-point "float format"* bit layout and then some bits are swapped, to be able to compare the result as int.* By this the precision is not reduced, but the value can easily used as an int.* @see #sortableIntToFloat*/public static int floatToSortableInt(float val) {int f = Float.floatToRawIntBits(val);if (f<0) f ^= 0x7fffffff;return f;}

 上面贴的就是把float转成十六进制的数字的代码,里面尽是位运算,看的人晕晕的,要完全搞懂,不是一件容易的事情。

 

   为了减少BooleanQuery条件太多的问题,采用了Trie树结构来存储Term,这又涉及到Trie树算法,又是一道坎儿,不懂算法,内部实现又看不懂,心塞塞啊!

 

/** This helper does the splitting for both 32 and 64 bit. */private static void splitRange(final Object builder, final int valSize,final int precisionStep, long minBound, long maxBound) {if (precisionStep < 1)throw new IllegalArgumentException("precisionStep must be >=1");if (minBound > maxBound) return;for (int shift=0; ; shift += precisionStep) {// calculate new bounds for inner precisionfinal long diff = 1L << (shift+precisionStep),mask = ((1L<<precisionStep) - 1L) << shift;final booleanhasLower = (minBound & mask) != 0L,hasUpper = (maxBound & mask) != mask;final longnextMinBound = (hasLower ? (minBound + diff) : minBound) & ~mask,nextMaxBound = (hasUpper ? (maxBound - diff) : maxBound) & ~mask;final booleanlowerWrapped = nextMinBound < minBound,upperWrapped = nextMaxBound > maxBound;if (shift+precisionStep>=valSize || nextMinBound>nextMaxBound || lowerWrapped || upperWrapped) {// We are in the lowest precision or the next precision is not available.addRange(builder, valSize, minBound, maxBound, shift);// exit the split recursion loopbreak;}if (hasLower)addRange(builder, valSize, minBound, minBound | mask, shift);if (hasUpper)addRange(builder, valSize, maxBound & ~mask, maxBound, shift);// recurse to next precisionminBound = nextMinBound;maxBound = nextMaxBound;}}

 说实话,我还没有完全参透这段源码,留着以后有空研究算法的时候再来啃这块骨头吧。

 

   上面说了一大堆废话,都是涉及底层数字范围查询设计原理的东西,只说了个大概,具体实现涉及的算法和原理我也还没参透,表示很抱歉,如果你对这方面算法很了解,麻烦请告知我,谢谢!

    NumericRangeQuery原理理解起来很难,但使用起来却是非常简单: 

 

 Query q = NumericRangeQuery.newFloatRange("weight", 0.03f, 0.10f, true, true);

    后面两个boolean值用来控制是否包含两个上下边界值的。

 

    不过要注意的是NumericRangeQuery只对IntField,LongField,FloatField,DoubleField等这些表示数字的Field域有效,NumericRangeQuery还有一个比较重要的设置就是Precision Step,何为Precision Step呢?翻译过来就是精度步长,还是不够直观无法理解,对不对?说通俗一点就是拿多大一个长度来截取Term,因为你的数字转成十六进制的字符串后,可能很长,需要按照一定的步长截取成多个Term进行索引的,比如“1111101111111011”,如果你的Precision Step值为16的话(不同数据类型的步长默认值不同,都定义在NumericUtils工具类里),那最终只有1个term,如果Precision Step值为8,那最终索引中就会有2个Term,这就是为什么官方API里说percisionStep值越小会越占硬盘空间但搜索速度越快了。Term多了肯定越占硬盘空间了。 NumericRangeQuery就说到这儿了,Thanks all.

    如果你还有什么问题请加我Q-Q:7-3-6-0-3-1-3-0-5,

或者加裙
一起交流学习!

 

这篇关于Lucene5学习之NumericRangeQuery使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/327265

相关文章

C/C++ chrono简单使用场景示例详解

《C/C++chrono简单使用场景示例详解》:本文主要介绍C/C++chrono简单使用场景示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录chrono使用场景举例1 输出格式化字符串chrono使用场景China编程举例1 输出格式化字符串示

Python验证码识别方式(使用pytesseract库)

《Python验证码识别方式(使用pytesseract库)》:本文主要介绍Python验证码识别方式(使用pytesseract库),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录1、安装Tesseract-OCR2、在python中使用3、本地图片识别4、结合playwrigh

Python使用Code2flow将代码转化为流程图的操作教程

《Python使用Code2flow将代码转化为流程图的操作教程》Code2flow是一款开源工具,能够将代码自动转换为流程图,该工具对于代码审查、调试和理解大型代码库非常有用,在这篇博客中,我们将深... 目录引言1nVflRA、为什么选择 Code2flow?2、安装 Code2flow3、基本功能演示

使用vscode搭建pywebview集成vue项目实践

《使用vscode搭建pywebview集成vue项目实践》:本文主要介绍使用vscode搭建pywebview集成vue项目实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录环境准备项目源码下载项目说明调试与生成可执行文件核心代码说明总结本节我们使用pythonpywebv

C++类和对象之默认成员函数的使用解读

《C++类和对象之默认成员函数的使用解读》:本文主要介绍C++类和对象之默认成员函数的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、默认成员函数有哪些二、各默认成员函数详解默认构造函数析构函数拷贝构造函数拷贝赋值运算符三、默认成员函数的注意事项总结一

使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)

《使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)》字体设计和矢量图形处理是编程中一个有趣且实用的领域,通过Python的matplotlib库,我们可以轻松将字体轮廓... 目录背景知识字体轮廓的表示实现步骤1. 安装依赖库2. 准备数据3. 解析路径指令4. 绘制图形关键

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

Linux基础命令@grep、wc、管道符的使用详解

《Linux基础命令@grep、wc、管道符的使用详解》:本文主要介绍Linux基础命令@grep、wc、管道符的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录grep概念语法作用演示一演示二演示三,带选项 -nwc概念语法作用wc,不带选项-c,统计字节数-

SpringCloud中的@FeignClient注解使用详解

《SpringCloud中的@FeignClient注解使用详解》在SpringCloud中使用Feign进行服务间的调用时,通常会使用@FeignClient注解来标记Feign客户端接口,这篇文章... 在Spring Cloud中使用Feign进行服务间的调用时,通常会使用@FeignClient注解

MySQL的ALTER TABLE命令的使用解读

《MySQL的ALTERTABLE命令的使用解读》:本文主要介绍MySQL的ALTERTABLE命令的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、查看所建表的编China编程码格式2、修改表的编码格式3、修改列队数据类型4、添加列5、修改列的位置5.1、把列