spark-3.0-AQE（Adaptive Query Execution）自适应查询

前置

AQE是一个运行时SQL优化框架，旨在解决由于优化器统计信息不足、不准确或过时而导致的查询执行计划的低效和缺乏灵活性的问题。
可以理解成是 Spark Catalyst 之上的一层，它可以在运行时修改 Spark plan，之前的物理执行计划不再是最终的计划，而是在每个query stage完成之后，动态的根据数据统计的情况，动态调整后续计划，
动态合并shuffle分区，自动调整SQL JOIN策略；动态优化数据倾斜。默认关闭，可以更改配置 “spark.sql.adaptive.enabled”: true 以打开
https://blog.csdn.net/lovetechlovelife/article/details/114744270

AQE分了3个方面来优化

动态合并shuffle分区

shuffle分区数量3.0之前默认200
分区数量太小

• io效率低
• 任务启动/调度耗时占比高
  分区数量太大
• GC压力
• 溢写到磁盘

不同stage分区数量不一样，无法自适应数据规模调整

AQE在初始时设置较大的分区数，每个query stage结束后，合并较小的数据分区

动态调整join策略

spark join 有3种不同的join策略
每个query stage结束后，自动检测join的表大小，并判断是否调整为broadcast hash join，进行mapjoin

动态优化数据倾斜