使用Calcite做Sql语法解析

2024-06-02 16:48

本文主要是介绍使用Calcite做Sql语法解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

Flink SQL中使用Calcite作为sql语法解析、校验、优化工具,本篇是实操篇,介绍一下calcite做sql语法解析使用方式。

sql经过calcite解析之后,得到一棵抽象语法树,也就是我们说的AST,这棵语法树是由不同的节点组成,节点称之为SqlNode,根据不同类型的dml、ddl得到不同的类型的SqlNode,例如select语句转换为SqlSelect,delete语句转换为SqlDelete,join语句转换为SqlJoin。

使用方式:

SqlParser.Config config = SqlParser.configBuilder()
         .setLex(Lex.MYSQL) //使用mysql 语法
         .build();
//SqlParser 语法解析器         
SqlParser sqlParser = SqlParser
       .create("select id,name,age FROM stu where age<20", config);
SqlNode sqlNode = null;
try {
   sqlNode = sqlParser.parseStmt();
} catch (SqlParseException e) {
  throw new RuntimeException("", e);
}
这里解析了一个select的语句,那么得到的sqlNode就是一个SqlSelect。

if(SqlKind.SELECT.equals(sqlNode.getKind())){
 
 
   SqlSelect sqlSelect = (SqlSelect) sqlNode;
   SqlNode from=sqlSelect.getFrom();
   SqlNode where=sqlSelect.getWhere();
   SqlNodeList selectList=sqlSelect.getSelectList();
   //标识符
   if(SqlKind.IDENTIFIER.equals(from.getKind())){
       System.out.println(from.toString());
    }
 
 
    if(SqlKind.LESS_THAN.equals(where.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)where;
        for(SqlNode sqlNode1: sqlBasicCall.operands){
          if(SqlKind.LITERAL.equals(sqlNode1.getKind())){
              System.out.println(sqlNode1.toString());
            }
          }
       }
 
 
    selectList.getList().forEach(x->{
      if(SqlKind.IDENTIFIER.equals(x.getKind())){
          System.out.println(x.toString());
         }
     });
 }
一个select语句包含from部分、where部分、select部分等,每一部分都表示一个SqlNode。SqlKind是一个枚举类型,包含了各种SqlNode类型:SqlSelect、SqlIdentifier、SqlLiteral等。SqlIdentifier表示标识符,例如表名称、字段名;SqlLiteral表示字面常量,一些具体的数字、字符。

SqlBasicCall对比SqlSelect/SqlDelete而言,可以理解为表示的是一些基本的、简单的调用,例如聚合函数、比较函数等,接下来看一下其如何解析sum操作:

select sum(amount) FROM orders //解析的sql
//解析select部分
selectList.getList().forEach(x->{
    if(SqlKind.SUM.equals(x.getKind())){
      SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
      System.out.println(sqlBasicCall.operands[0]);
   }
 });
其内部主要就是operands,也是SqlNode节点,但是都是一些基本的SqlNode,例如SqlIdentifier、SqlLiteral。

SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall,差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点,而SqlBasicCall表示简单的SqlCall。另外两种SqlNode:SqlDataTypeSpec与SqlNodeList,SqlDataTypeSpec代表数据类型节点,例如CHAR/VARCHAR/DOUBLE, SqlNodeList表示包含多个同级别的SqlNode,在上面select中已经展示过,看下SqlDataTypeSpec使用实例:

select cast(amount as CHAR) FROM orders//解析的sql
//解析select部分
selectList.getList().forEach(x->{
   if(SqlKind.CAST.equals(x.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
        System.out.println(sqlBasicCall.operands[0]); //amount
        SqlDataTypeSpec charType=(SqlDataTypeSpec)sqlBasicCall.operands[1];
        System.out.println(charType.getTypeName()); //CHAR
  }
});
另外一种节点SqlOperator,可以代表函数、运算符、语法(select)结构,例如sum解析为SqlAggFunction、select解析为SqlSelectOperator,as 作为SqlAsOperator。SqlOperator是被嵌入在SqlNode中,作为其属性,通过SqlOperator的createCall方法可以创建对应的SqlNode,使用方式:

SqlOperator operator = new SqlAsOperator();
SqlParserPos sqlParserPos = new SqlParserPos(1, 1);
SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);
SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);
SqlNode[] sqlNodes = new SqlNode[2];
sqlNodes[0] = name;
sqlNodes[1] = alias;
SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);
System.out.println(sqlBasicCall); //得到的就是 Order as o
SqlParsePos表示对应解析的节点在sql位置,起止行与起止列。

以上介绍了一下calcite解析sql的简单使用方式,我们可以使用Calcite来做血缘分析、flink sql维表关联等。
 

这篇关于使用Calcite做Sql语法解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024533

相关文章

Java MCP 的鉴权深度解析

《JavaMCP的鉴权深度解析》文章介绍JavaMCP鉴权的实现方式,指出客户端可通过queryString、header或env传递鉴权信息,服务器端支持工具单独鉴权、过滤器集中鉴权及启动时鉴权... 目录一、MCP Client 侧(负责传递,比较简单)(1)常见的 mcpServers json 配置

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

Python ORM神器之SQLAlchemy基本使用完全指南

《PythonORM神器之SQLAlchemy基本使用完全指南》SQLAlchemy是Python主流ORM框架,通过对象化方式简化数据库操作,支持多数据库,提供引擎、会话、模型等核心组件,实现事务... 目录一、什么是SQLAlchemy?二、安装SQLAlchemy三、核心概念1. Engine(引擎)

Java Stream 并行流简介、使用与注意事项小结

《JavaStream并行流简介、使用与注意事项小结》Java8并行流基于StreamAPI,利用多核CPU提升计算密集型任务效率,但需注意线程安全、顺序不确定及线程池管理,可通过自定义线程池与C... 目录1. 并行流简介​特点:​2. 并行流的简单使用​示例:并行流的基本使用​3. 配合自定义线程池​示

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Maven中生命周期深度解析与实战指南

《Maven中生命周期深度解析与实战指南》这篇文章主要为大家详细介绍了Maven生命周期实战指南,包含核心概念、阶段详解、SpringBoot特化场景及企业级实践建议,希望对大家有一定的帮助... 目录一、Maven 生命周期哲学二、default生命周期核心阶段详解(高频使用)三、clean生命周期核心阶

GO语言中函数命名返回值的使用

《GO语言中函数命名返回值的使用》在Go语言中,函数可以为其返回值指定名称,这被称为命名返回值或命名返回参数,这种特性可以使代码更清晰,特别是在返回多个值时,感兴趣的可以了解一下... 目录基本语法函数命名返回特点代码示例命名特点基本语法func functionName(parameters) (nam

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象