使用Calcite做Sql语法解析

2024-06-02 16:48

本文主要是介绍使用Calcite做Sql语法解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

Flink SQL中使用Calcite作为sql语法解析、校验、优化工具,本篇是实操篇,介绍一下calcite做sql语法解析使用方式。

sql经过calcite解析之后,得到一棵抽象语法树,也就是我们说的AST,这棵语法树是由不同的节点组成,节点称之为SqlNode,根据不同类型的dml、ddl得到不同的类型的SqlNode,例如select语句转换为SqlSelect,delete语句转换为SqlDelete,join语句转换为SqlJoin。

使用方式:

SqlParser.Config config = SqlParser.configBuilder()
         .setLex(Lex.MYSQL) //使用mysql 语法
         .build();
//SqlParser 语法解析器         
SqlParser sqlParser = SqlParser
       .create("select id,name,age FROM stu where age<20", config);
SqlNode sqlNode = null;
try {
   sqlNode = sqlParser.parseStmt();
} catch (SqlParseException e) {
  throw new RuntimeException("", e);
}
这里解析了一个select的语句,那么得到的sqlNode就是一个SqlSelect。

if(SqlKind.SELECT.equals(sqlNode.getKind())){
 
 
   SqlSelect sqlSelect = (SqlSelect) sqlNode;
   SqlNode from=sqlSelect.getFrom();
   SqlNode where=sqlSelect.getWhere();
   SqlNodeList selectList=sqlSelect.getSelectList();
   //标识符
   if(SqlKind.IDENTIFIER.equals(from.getKind())){
       System.out.println(from.toString());
    }
 
 
    if(SqlKind.LESS_THAN.equals(where.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)where;
        for(SqlNode sqlNode1: sqlBasicCall.operands){
          if(SqlKind.LITERAL.equals(sqlNode1.getKind())){
              System.out.println(sqlNode1.toString());
            }
          }
       }
 
 
    selectList.getList().forEach(x->{
      if(SqlKind.IDENTIFIER.equals(x.getKind())){
          System.out.println(x.toString());
         }
     });
 }
一个select语句包含from部分、where部分、select部分等,每一部分都表示一个SqlNode。SqlKind是一个枚举类型,包含了各种SqlNode类型:SqlSelect、SqlIdentifier、SqlLiteral等。SqlIdentifier表示标识符,例如表名称、字段名;SqlLiteral表示字面常量,一些具体的数字、字符。

SqlBasicCall对比SqlSelect/SqlDelete而言,可以理解为表示的是一些基本的、简单的调用,例如聚合函数、比较函数等,接下来看一下其如何解析sum操作:

select sum(amount) FROM orders //解析的sql
//解析select部分
selectList.getList().forEach(x->{
    if(SqlKind.SUM.equals(x.getKind())){
      SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
      System.out.println(sqlBasicCall.operands[0]);
   }
 });
其内部主要就是operands,也是SqlNode节点,但是都是一些基本的SqlNode,例如SqlIdentifier、SqlLiteral。

SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall,差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点,而SqlBasicCall表示简单的SqlCall。另外两种SqlNode:SqlDataTypeSpec与SqlNodeList,SqlDataTypeSpec代表数据类型节点,例如CHAR/VARCHAR/DOUBLE, SqlNodeList表示包含多个同级别的SqlNode,在上面select中已经展示过,看下SqlDataTypeSpec使用实例:

select cast(amount as CHAR) FROM orders//解析的sql
//解析select部分
selectList.getList().forEach(x->{
   if(SqlKind.CAST.equals(x.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
        System.out.println(sqlBasicCall.operands[0]); //amount
        SqlDataTypeSpec charType=(SqlDataTypeSpec)sqlBasicCall.operands[1];
        System.out.println(charType.getTypeName()); //CHAR
  }
});
另外一种节点SqlOperator,可以代表函数、运算符、语法(select)结构,例如sum解析为SqlAggFunction、select解析为SqlSelectOperator,as 作为SqlAsOperator。SqlOperator是被嵌入在SqlNode中,作为其属性,通过SqlOperator的createCall方法可以创建对应的SqlNode,使用方式:

SqlOperator operator = new SqlAsOperator();
SqlParserPos sqlParserPos = new SqlParserPos(1, 1);
SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);
SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);
SqlNode[] sqlNodes = new SqlNode[2];
sqlNodes[0] = name;
sqlNodes[1] = alias;
SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);
System.out.println(sqlBasicCall); //得到的就是 Order as o
SqlParsePos表示对应解析的节点在sql位置,起止行与起止列。

以上介绍了一下calcite解析sql的简单使用方式,我们可以使用Calcite来做血缘分析、flink sql维表关联等。
 

这篇关于使用Calcite做Sql语法解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024533

相关文章

使用Python创建一个功能完整的Windows风格计算器程序

《使用Python创建一个功能完整的Windows风格计算器程序》:本文主要介绍如何使用Python和Tkinter创建一个功能完整的Windows风格计算器程序,包括基本运算、高级科学计算(如三... 目录python实现Windows系统计算器程序(含高级功能)1. 使用Tkinter实现基础计算器2.

MySQL主从同步延迟问题的全面解决方案

《MySQL主从同步延迟问题的全面解决方案》MySQL主从同步延迟是分布式数据库系统中的常见问题,会导致从库读取到过期数据,影响业务一致性,下面我将深入分析延迟原因并提供多层次的解决方案,需要的朋友可... 目录一、同步延迟原因深度分析1.1 主从复制原理回顾1.2 延迟产生的关键环节二、实时监控与诊断方案

在.NET平台使用C#为PDF添加各种类型的表单域的方法

《在.NET平台使用C#为PDF添加各种类型的表单域的方法》在日常办公系统开发中,涉及PDF处理相关的开发时,生成可填写的PDF表单是一种常见需求,与静态PDF不同,带有**表单域的文档支持用户直接在... 目录引言使用 PdfTextBoxField 添加文本输入域使用 PdfComboBoxField

慢sql提前分析预警和动态sql替换-Mybatis-SQL

《慢sql提前分析预警和动态sql替换-Mybatis-SQL》为防止慢SQL问题而开发的MyBatis组件,该组件能够在开发、测试阶段自动分析SQL语句,并在出现慢SQL问题时通过Ducc配置实现动... 目录背景解决思路开源方案调研设计方案详细设计使用方法1、引入依赖jar包2、配置组件XML3、核心配

Git可视化管理工具(SourceTree)使用操作大全经典

《Git可视化管理工具(SourceTree)使用操作大全经典》本文详细介绍了SourceTree作为Git可视化管理工具的常用操作,包括连接远程仓库、添加SSH密钥、克隆仓库、设置默认项目目录、代码... 目录前言:连接Gitee or github,获取代码:在SourceTree中添加SSH密钥:Cl

MySQL数据库约束深入详解

《MySQL数据库约束深入详解》:本文主要介绍MySQL数据库约束,在MySQL数据库中,约束是用来限制进入表中的数据类型的一种技术,通过使用约束,可以确保数据的准确性、完整性和可靠性,需要的朋友... 目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UN

Python中模块graphviz使用入门

《Python中模块graphviz使用入门》graphviz是一个用于创建和操作图形的Python库,本文主要介绍了Python中模块graphviz使用入门,具有一定的参考价值,感兴趣的可以了解一... 目录1.安装2. 基本用法2.1 输出图像格式2.2 图像style设置2.3 属性2.4 子图和聚

windows和Linux使用命令行计算文件的MD5值

《windows和Linux使用命令行计算文件的MD5值》在Windows和Linux系统中,您可以使用命令行(终端或命令提示符)来计算文件的MD5值,文章介绍了在Windows和Linux/macO... 目录在Windows上:在linux或MACOS上:总结在Windows上:可以使用certuti

CentOS和Ubuntu系统使用shell脚本创建用户和设置密码

《CentOS和Ubuntu系统使用shell脚本创建用户和设置密码》在Linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设置密码,本文写了一个shell... 在linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设

Python使用Matplotlib绘制3D曲面图详解

《Python使用Matplotlib绘制3D曲面图详解》:本文主要介绍Python使用Matplotlib绘制3D曲面图,在Python中,使用Matplotlib库绘制3D曲面图可以通过mpl... 目录准备工作绘制简单的 3D 曲面图绘制 3D 曲面图添加线框和透明度控制图形视角Matplotlib