【Text2SQL 论文】CHESS:利用上下文来合成 SQL 的 pipeline

2024-06-12 01:20

本文主要是介绍【Text2SQL 论文】CHESS:利用上下文来合成 SQL 的 pipeline,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 一、论文速读
    • 二、CHESS pipeline
      • 2.1 Entity and Context Retrieval
      • 2.2 Schema Selection
      • 2.3 Query Generation
    • 三、预处理
    • 四、实验
    • 五、总结讨论

一、论文速读

本文提出了一个 pipeline 框架——CHESS——来解决应用于复杂的真实数据库场景下的 Text2SQL 问题。

在现实场景下,数据库 schema 通常包含不明确的 column name、table name 和混乱的数据,这都对 SQL 转换问题提出了挑战,因此需要一个健壮的检索系统来识别出其中相关的信息。下图展示了一个在做 Text2SQL 时会面临的挑战:

在这里插入图片描述

  • 1)用户问题可能没有确切的数据库值
  • 2)column name 可能不能很好的表示这一列存储了什么数据,因此需要 database catalogs 信息来辅助
  • 3)对于一个 question,有多种 SQL 写法

在以往的研究中,大多将 SQL 生成的上下文限制为 table schema、column 定义和 sample rows,但在生产级数据库中,db catelog、db value 也是重要的辅助信息

本文提出了 CHESS,一个针对现实世界的复杂 DB 的 Text2SQL 系统,它引入了一个 scalable、effective 的 LLM-based 的 pipeline 用于 SQL 生成,主要由三个组件构成:entity and context retrieval、schema selection、SQL generation

二、CHESS pipeline

CHESS 整个 pipeline 执行的流程如下图所示,共由三个模块组成:

在这里插入图片描述

这个流程中有一个需要解决的关键问题是:由于 LLM 上下文窗口的限制,无法将 DB 所有信息都传给 LLM,但 context 又不能缺失有关信息,因此过滤出有用的 DB 信息是需要特别关注的

2.1 Entity and Context Retrieval

这个 module 需要将 user question 中提及到的相关 entity 和 db schema 提取出来,用于后序步骤的输入。这个过程分成 3 步:

  • Keyword Extraction:这一步是从 NL 中提取出 keywords,使用的方法就是 prompt + few-shots ICL 来让 LLM 提取出 keywords、keyphrases、named entities。
  • Entity Retrieval:在得到 keyword list 后,我们从数据库中检索相似的值,并为每个 keyword 返回相关的 db cell value,以及对应的 column。这里的检索方法采用了局部敏感哈希(LSH)和 semantic embedding similarity 检索的分层检索策略,从而高效地检索出与 keyword 语法和语义都相似的 cell value。
  • Context Retrieval:除了 db cell value,数据库中的 catelogs 包含了解释 db schema 的可用信息(比如注释),这一步使用 vector db 来检索与 keyword 最相似的描述信息。

2.2 Schema Selection

这个 module 是缩小 schema 的范围,使之只包含生成 SQL 时必要的 tables 和 columns。这种过滤后的 schema 称为 efficient schema。这里分为如下步骤:

  • Individual Column Filtering:这一步是筛选掉 db 中不相关的 columns,只将最相关的 columns 传递给表选择步骤。实现方式上,是将每个 column 与 question 的相关性视为一个二分类任务,本质上是询问 LLM 该列是否可能与 question 有关。注意,这一步只对移除明显不相关的 columns 有用,之后会再次过滤。
  • Table Selection:过滤掉不相关的 columns 之后,这一步继续选择必需的 tables。实现方式是,将前一步过滤的 schema 交给 LLM 来评估 table 与 question 的相关性,并只选择与 SQL 查询所需要的 tables。
  • Final Column Selection:从选择出的 tables 中再次过滤 columns,将 schema 减少到生成 SQL 所需的最小列集。实现方式是,prompt LLM 让它评估每一 column 的必要性,包含它的 Chain-of-Thought 的解释。

2.3 Query Generation

前面的步骤已经选出了一个上下文增强的 efficient schema,其中包含了创建 SQL 所需的所有必要信息。下面的步骤中,就是先生成一个候选 SQL,然后对此 SQL 执行并让 LLM 修复其中的语义和语法错误。

  • Candidate Generation:通过 prompt LLM 让它生成一个候选 SQL
  • Revision:基于 context 和候选 SQL 的执行结果,要求 model 评估 SQL 查询的正确性,并在必要时对其进行修改。具体实现时,可能会给他一套 rules,同时使用 self-consistency 等技巧。

三、预处理

在 CHESS pipeline 中,需要使用 LSH 算法检索和 vector db 检索,因此需要一个预处理过程来为数据库构建检索索引。

四、实验

论文主要在 BIRD 和 Spider 上做了实验,LLM 选择了多种类型进行了对比。

下图是 CHESS 与现有方法的对比:

在这里插入图片描述

  • 红色是 CHESS 框架并使用专用模型,蓝色是使用了开源通用模型

五、总结讨论

CHESS pipeline 在 BIRD 和 Spider 数据集上都取得了不错的表现。此外,CHESS 还开发了一个完全开源的版本,可以私有部署,且在 BIRD 上执行准确率超过 60%,缩小了闭源和开源 LLM 的性能差距,同时保证了企业数据隐私

但对于 BIRD 数据集,目前的模型仍然不如人类写 SQL 的表现,未来的工作应该旨在进一步缩小这个差距。

此外,设计更高精度的 schema selection 方法是未来研究的一个高影响领域,可以对准确性产生巨大影响。

这篇关于【Text2SQL 论文】CHESS:利用上下文来合成 SQL 的 pipeline的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1052797

相关文章

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改(CURD)操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据

MySQL中优化CPU使用的详细指南

《MySQL中优化CPU使用的详细指南》优化MySQL的CPU使用可以显著提高数据库的性能和响应时间,本文为大家整理了一些优化CPU使用的方法,大家可以根据需要进行选择... 目录一、优化查询和索引1.1 优化查询语句1.2 创建和优化索引1.3 避免全表扫描二、调整mysql配置参数2.1 调整线程数2.

MySQL 临时表与复制表操作全流程案例

《MySQL临时表与复制表操作全流程案例》本文介绍MySQL临时表与复制表的区别与使用,涵盖生命周期、存储机制、操作限制、创建方法及常见问题,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随小... 目录一、mysql 临时表(一)核心特性拓展(二)操作全流程案例1. 复杂查询中的临时表应用2. 临时

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一:产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二:员

MySQL实现多源复制的示例代码

《MySQL实现多源复制的示例代码》MySQL的多源复制允许一个从服务器从多个主服务器复制数据,这在需要将多个数据源汇聚到一个数据库实例时非常有用,下面就来详细的介绍一下,感兴趣的可以了解一下... 目录一、多源复制原理二、多源复制配置步骤2.1 主服务器配置Master1配置Master2配置2.2 从服

MySQL 临时表创建与使用详细说明

《MySQL临时表创建与使用详细说明》MySQL临时表是存储在内存或磁盘的临时数据表,会话结束时自动销毁,适合存储中间计算结果或临时数据集,其名称以#开头(如#TempTable),本文给大家介绍M... 目录mysql 临时表详细说明1.定义2.核心特性3.创建与使用4.典型应用场景5.生命周期管理6.注

MySQL磁盘空间不足问题解决

《MySQL磁盘空间不足问题解决》本文介绍查看空间使用情况的方式,以及各种空间问题的原因和解决方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录查看空间使用情况Binlog日志文件占用过多表上的索引太多导致空间不足大字段导致空间不足表空间碎片太多导致空间不足临时表空间

MySQL进行分片合并的实现步骤

《MySQL进行分片合并的实现步骤》分片合并是指在分布式数据库系统中,将不同分片上的查询结果进行整合,以获得完整的查询结果,下面就来具体介绍一下,感兴趣的可以了解一下... 目录环境准备项目依赖数据源配置分片上下文分片查询和合并代码实现1. 查询单条记录2. 跨分片查询和合并测试结论分片合并(Shardin

MySQL配置多主复制的实现步骤

《MySQL配置多主复制的实现步骤》多主复制是一种允许多个MySQL服务器同时接受写操作的复制方式,本文就来介绍一下MySQL配置多主复制的实现步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录1. 环境准备2. 配置每台服务器2.1 修改每台服务器的配置文件3. 安装和配置插件4. 启动组复制4.

MySQL数据脱敏的实现方法

《MySQL数据脱敏的实现方法》本文主要介绍了MySQL数据脱敏的实现方法,包括字符替换、加密等方法,通过工具类和数据库服务整合,确保敏感信息在查询结果中被掩码处理,感兴趣的可以了解一下... 目录一. 数据脱敏的方法二. 字符替换脱敏1. 创建数据脱敏工具类三. 整合到数据库操作1. 创建服务类进行数据库