SparkSQL Catalyst优化器

2023-12-13 10:48
文章标签 优化 sparksql catalyst

本文主要是介绍SparkSQL Catalyst优化器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • RDD 和 SpakSQL 运行时的区别
  • Catalyst
    • step1:解析 SQL,并且生成 AST(抽象语法树)
    • step2:在 AST 中加入元数据信息
    • step3:对已经加入元数据的 AST,输入优化器,进行优化
      • 谓词下推(Predicate Pushdown)
      • 列值裁剪(Column Pruning)
    • step4:生成物理计划 RDD


RDD 和 SpakSQL 运行时的区别

RDD 的运行流程
在这里插入图片描述
大致运行步骤:先将 RDD 解析为由 Stage 组成的 DAG,后将 Stage 转为 Task 直接运行

RDD 无法自我优化,RDD 没有 Schema 信息,RDD 可以同时处理结构化和非结构化的数据。

SparkSQL 提供了什么?

在这里插入图片描述
和 RDD 不同,SparkSQL 和 Dataset 和 SQL 并不是直接生成计划交给集群执行,而是经过了一个叫 Catalyst 的优化器,这个优化器能够自动帮助开发者优化代码。也就是说,在 SparkSQL 中,开发者的代码即使不够优化,也会被优化为相对较好的形式去执行。

SparkSQL 大部分情况用于处理结构化数据和半结构化数据,所以 SparkSQL 可以获知数据的 Schema,从而根据其 Schema来进行优化。


Catalyst

为了解决过多依赖 Hive 的问题,SparkSQL 使用了一个新的 SQL 优化器替代 Hive 中的优化器,整个 SparkSQL 的架构大致如下:
在这里插入图片描述

  • 1.API 层简单的说就是 Spark 会通过一些 API 接受 SQL 语句。
  • 2.收到 SQL 语句以后,将其交给 Catalyst,Catalyst 负责解析 SQL,生成执行计划等。
  • 3.Catalyst 的输出应该是 RDD 的执行计划。
  • 4.最终交由集群执行。

在这里插入图片描述


step1:解析 SQL,并且生成 AST(抽象语法树)

在这里插入图片描述

step2:在 AST 中加入元数据信息

做这一步主要是为了一些优化, 例如 col = col 这样的条件, 下图是一个简略图, 便于理解。
在这里插入图片描述

  • score.id → id#1#L 为 score.id 生成 id 为 1, 类型是 Long
  • score.math_score → math_score#2#L 为 score.math_score 生成 id 为 2, 类型为 Long
  • people.id → id#3#L 为 people.id 生成 id 为 3, 类型为 Long
  • people.age → age#4#L 为 people.age 生成 id 为 4, 类型为 Long

step3:对已经加入元数据的 AST,输入优化器,进行优化

谓词下推(Predicate Pushdown)

减少操作时候的数据量
在这里插入图片描述

列值裁剪(Column Pruning)

在谓词下推后, people 表之上的操作只用到了 id 列, 所以可以把其它列裁剪掉, 这样可以减少处理的数据量, 从而优化处理速度,如下图
在这里插入图片描述
百种优化方式, 源码在 org.apache.spark.sql.catalyst.optimizer.Optimizer

step4:生成物理计划 RDD

上面的过程生成的 AST 其实最终还没办法直接运行,这个 AST 叫做逻辑计划,结束后,需要生成 物理计划,从而生成 RDD 来运行。

  • 在生成物理计划的时候,会经过成本模型对整课数再次执行优化,选择一个更好的计划
  • 在生成物理计划以后,因为考虑到性能,所以会使用代码生成,在机器中运行

总结:

  • SparkSQL 和 RDD 不同的主要点是在于其所操作的数据是结构化的,提供了对数据更强的感知和分析能力,能够对代码进行更深层的优化,而这种能力是有一个叫做 Catalyst 的优化器所提供的。
  • Catalyst 的主要运作原理是分为三步,先对 SQL 或者 Dataset 的代码解析,生成逻辑计划,后对逻辑计划进行优化,再生成物理计划,最后生成代码到集群中以 RDD 的形式运行。

这篇关于SparkSQL Catalyst优化器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/488193

相关文章

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

SpringBoot中HTTP连接池的配置与优化

《SpringBoot中HTTP连接池的配置与优化》这篇文章主要为大家详细介绍了SpringBoot中HTTP连接池的配置与优化的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、HTTP连接池的核心价值二、Spring Boot集成方案方案1:Apache HttpCl

PyTorch高级特性与性能优化方式

《PyTorch高级特性与性能优化方式》:本文主要介绍PyTorch高级特性与性能优化方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、自动化机制1.自动微分机制2.动态计算图二、性能优化1.内存管理2.GPU加速3.多GPU训练三、分布式训练1.分布式数据

MySQL中like模糊查询的优化方案

《MySQL中like模糊查询的优化方案》在MySQL中,like模糊查询是一种常用的查询方式,但在某些情况下可能会导致性能问题,本文将介绍八种优化MySQL中like模糊查询的方法,需要的朋友可以参... 目录1. 避免以通配符开头的查询2. 使用全文索引(Full-text Index)3. 使用前缀索

C#实现高性能Excel百万数据导出优化实战指南

《C#实现高性能Excel百万数据导出优化实战指南》在日常工作中,Excel数据导出是一个常见的需求,然而,当数据量较大时,性能和内存问题往往会成为限制导出效率的瓶颈,下面我们看看C#如何结合EPPl... 目录一、技术方案核心对比二、各方案选型建议三、性能对比数据四、核心代码实现1. MiniExcel

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis