使用Calcite做Sql语法解析

2024-06-02 16:48

本文主要是介绍使用Calcite做Sql语法解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

Flink SQL中使用Calcite作为sql语法解析、校验、优化工具,本篇是实操篇,介绍一下calcite做sql语法解析使用方式。

sql经过calcite解析之后,得到一棵抽象语法树,也就是我们说的AST,这棵语法树是由不同的节点组成,节点称之为SqlNode,根据不同类型的dml、ddl得到不同的类型的SqlNode,例如select语句转换为SqlSelect,delete语句转换为SqlDelete,join语句转换为SqlJoin。

使用方式:

SqlParser.Config config = SqlParser.configBuilder()
         .setLex(Lex.MYSQL) //使用mysql 语法
         .build();
//SqlParser 语法解析器         
SqlParser sqlParser = SqlParser
       .create("select id,name,age FROM stu where age<20", config);
SqlNode sqlNode = null;
try {
   sqlNode = sqlParser.parseStmt();
} catch (SqlParseException e) {
  throw new RuntimeException("", e);
}
这里解析了一个select的语句,那么得到的sqlNode就是一个SqlSelect。

if(SqlKind.SELECT.equals(sqlNode.getKind())){
 
 
   SqlSelect sqlSelect = (SqlSelect) sqlNode;
   SqlNode from=sqlSelect.getFrom();
   SqlNode where=sqlSelect.getWhere();
   SqlNodeList selectList=sqlSelect.getSelectList();
   //标识符
   if(SqlKind.IDENTIFIER.equals(from.getKind())){
       System.out.println(from.toString());
    }
 
 
    if(SqlKind.LESS_THAN.equals(where.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)where;
        for(SqlNode sqlNode1: sqlBasicCall.operands){
          if(SqlKind.LITERAL.equals(sqlNode1.getKind())){
              System.out.println(sqlNode1.toString());
            }
          }
       }
 
 
    selectList.getList().forEach(x->{
      if(SqlKind.IDENTIFIER.equals(x.getKind())){
          System.out.println(x.toString());
         }
     });
 }
一个select语句包含from部分、where部分、select部分等,每一部分都表示一个SqlNode。SqlKind是一个枚举类型,包含了各种SqlNode类型:SqlSelect、SqlIdentifier、SqlLiteral等。SqlIdentifier表示标识符,例如表名称、字段名;SqlLiteral表示字面常量,一些具体的数字、字符。

SqlBasicCall对比SqlSelect/SqlDelete而言,可以理解为表示的是一些基本的、简单的调用,例如聚合函数、比较函数等,接下来看一下其如何解析sum操作:

select sum(amount) FROM orders //解析的sql
//解析select部分
selectList.getList().forEach(x->{
    if(SqlKind.SUM.equals(x.getKind())){
      SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
      System.out.println(sqlBasicCall.operands[0]);
   }
 });
其内部主要就是operands,也是SqlNode节点,但是都是一些基本的SqlNode,例如SqlIdentifier、SqlLiteral。

SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall,差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点,而SqlBasicCall表示简单的SqlCall。另外两种SqlNode:SqlDataTypeSpec与SqlNodeList,SqlDataTypeSpec代表数据类型节点,例如CHAR/VARCHAR/DOUBLE, SqlNodeList表示包含多个同级别的SqlNode,在上面select中已经展示过,看下SqlDataTypeSpec使用实例:

select cast(amount as CHAR) FROM orders//解析的sql
//解析select部分
selectList.getList().forEach(x->{
   if(SqlKind.CAST.equals(x.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
        System.out.println(sqlBasicCall.operands[0]); //amount
        SqlDataTypeSpec charType=(SqlDataTypeSpec)sqlBasicCall.operands[1];
        System.out.println(charType.getTypeName()); //CHAR
  }
});
另外一种节点SqlOperator,可以代表函数、运算符、语法(select)结构,例如sum解析为SqlAggFunction、select解析为SqlSelectOperator,as 作为SqlAsOperator。SqlOperator是被嵌入在SqlNode中,作为其属性,通过SqlOperator的createCall方法可以创建对应的SqlNode,使用方式:

SqlOperator operator = new SqlAsOperator();
SqlParserPos sqlParserPos = new SqlParserPos(1, 1);
SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);
SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);
SqlNode[] sqlNodes = new SqlNode[2];
sqlNodes[0] = name;
sqlNodes[1] = alias;
SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);
System.out.println(sqlBasicCall); //得到的就是 Order as o
SqlParsePos表示对应解析的节点在sql位置,起止行与起止列。

以上介绍了一下calcite解析sql的简单使用方式,我们可以使用Calcite来做血缘分析、flink sql维表关联等。
 

这篇关于使用Calcite做Sql语法解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024533

相关文章

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

C#中Guid类使用小结

《C#中Guid类使用小结》本文主要介绍了C#中Guid类用于生成和操作128位的唯一标识符,用于数据库主键及分布式系统,支持通过NewGuid、Parse等方法生成,感兴趣的可以了解一下... 目录前言一、什么是 Guid二、生成 Guid1. 使用 Guid.NewGuid() 方法2. 从字符串创建

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S