mysql order by的执行原理,以及优化思路,怎么优化order by

2024-08-20 18:04

本文主要是介绍mysql order by的执行原理,以及优化思路,怎么优化order by,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

mysql order by的执行原理,以及优化思路,怎么优化order by

select id, name,age,city,address from table_a t where t.city = '深圳' order by age;

Mysql Order by 排序:

1. 有这样几种方式:

1.1 全字段排序

全字段排序概念:
将最终结果集中所有的字段都放进 sort buffer中,然后在sort buffer中针对排序字段进行快速排序。 

数据太大会使用到临时文件进行辅助排序,使用临时文件排序的时候,用的是归并排序算法 。
sort_buffer_size 进行设置 sort_buffer 的大小。全字段排序只需要一次回表。

1.2 Rowid排序

Rowid排序概念:
只将与排序相关的字段和 rowId 放入 sort buffer,其余结果集需要用到的数据在排序完成后,通过 rowId 回表取得。

rowid 排序就是,只把查询SQL需要用于排序的字段和主键id,到sort_buffer中。Rowid排序需要回表两次。


上面这两种排序如果待排序的数据量大小没有超过sort_buffer_size大小,那么还是在 sort_buffer中排序,速度快。不涉及到外部排序。
 

2. 上面两种排序方式,那mysql order by语句是按照哪种方式进行排序的呢?
max_length_for_sort_data, 它表示MySQL用于排序行数据的长度的一个参数,如果单行的长度超过这个值,MySQL 就认为单行太大,就使用rowid 排序,否则使用全字段排序。


3. 全字段排序与rowid排序对比
全字段排序一次回表,性能高。sort_buffer内存不够的话,就需要用到磁盘临时文件,造成磁盘访问。
rowid排序需要两次回表,可排序的数据多。sort_buffer可以放更多数据,但是需要再回到原表去取数据,比全字段排序多一次回表。
一般情况下,对于InnoDB存储引擎,会优先使用全字段排序。可以发现 max_length_for_sort_data参数设置为1024,这个数比较大的。一般情况下,排序字段不会超过这个值,也就是都会走全字段排序。

但是有的时候,数据量太大,即使只将要排序的字段+主键id放入到 sort_buffer 中仍然存不下,这个时候就需要使用到外部文件了


4. explain 说明, 执行explain语句的时候,可以发现下面的信息:
explain语句的时候,发现 Using filesort 用到了临时文件进行排序
还能看到 Using temporary 用到了临时表,临时表存储引擎为 memory 。

如果当前 MySQL 使用的是内存临时表的话,将会直接使用 rowId 排序,这时的回表(回临时表取数据)只是在内存表中读数据,操作不涉及硬盘IO 。

MySQL 提供了 tmp_table_size 参数限制了内存临时表的大小,默认值是 16M,如果临时表大小超过了tmp_table_size,那么内存临时表就会转成磁盘临时表。这时的回表意味着磁盘随机读,所以会搭配全字段排序方式。


如果数据量大于tmp_table_size, 就不能用内存临时表了,需要用磁盘临时表,这时的回表意味着磁盘随机读,所以会搭配全字段排序方式。
 


5.  order by的一些优化思路
我们如何优化order by语句呢?

A. 联合索引 因为数据是无序的,所以就需要排序。如果数据本身是有序的,那就不用排了。而索引数据本身是有序的,我们通过建立联合索引,优化order by 语句。联合索引 - 就是通过要排序的字段和where条件的字段一起创建联合索引。

B.  覆盖索引: 上面的联合索引虽然不需要排序,但是需要回表查询字段, 就可以考虑覆盖索引 。 select查询的字段和order by排序字段以及where条件字段一起都建一个索引,覆盖索引,就是索引里包含了需要的所有数据(查询数据、排序数据)这样就不需要任何回表了


C. 调整参数优化
C1. sort_buffer 值调大一点。 值太小,数据量大的话,会借助磁盘临时文件排序.  默认是mysql 5.7.5  是256k, mysql 5.7.6是 8M

C2. max_length_for_sort_data值调大一点。值太小的话,order by会走rowid排序,会回表,降低查询性能。默认是1024大小

C3. tmp_table_size 值调大一点。 值太小就不能使用内存临时表,需要用到磁盘临时表,磁盘随机读影响性能。

在排序字段无索引的情况下,mysql使用优先队列进行排序(即堆排序)对 order by + limit n 排序语句进行优化。
过程:
    在所有待排序的数据,取数量为 LIMIT 的数据,构建一个堆。
    不断的取下一行数据,更新堆节点。
    当所有行的扫描完,得到最终的排序结果

这篇关于mysql order by的执行原理,以及优化思路,怎么优化order by的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1090791

相关文章

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务,修改密码一、下载安装包安装地

MySQL CTE (Common Table Expressions)示例全解析

《MySQLCTE(CommonTableExpressions)示例全解析》MySQL8.0引入CTE,支持递归查询,可创建临时命名结果集,提升复杂查询的可读性与维护性,适用于层次结构数据处... 目录基本语法CTE 主要特点非递归 CTE简单 CTE 示例多 CTE 示例递归 CTE基本递归 CTE 结

Spring Bean初始化及@PostConstruc执行顺序示例详解

《SpringBean初始化及@PostConstruc执行顺序示例详解》本文给大家介绍SpringBean初始化及@PostConstruc执行顺序,本文通过实例代码给大家介绍的非常详细,对大家的... 目录1. Bean初始化执行顺序2. 成员变量初始化顺序2.1 普通Java类(非Spring环境)(

Spring Boot 中的默认异常处理机制及执行流程

《SpringBoot中的默认异常处理机制及执行流程》SpringBoot内置BasicErrorController,自动处理异常并生成HTML/JSON响应,支持自定义错误路径、配置及扩展,如... 目录Spring Boot 异常处理机制详解默认错误页面功能自动异常转换机制错误属性配置选项默认错误处理

MySQL多实例管理如何在一台主机上运行多个mysql

《MySQL多实例管理如何在一台主机上运行多个mysql》文章详解了在Linux主机上通过二进制方式安装MySQL多实例的步骤,涵盖端口配置、数据目录准备、初始化与启动流程,以及排错方法,适用于构建读... 目录一、什么是mysql多实例二、二进制方式安装MySQL1.获取二进制代码包2.安装基础依赖3.清

详解MySQL中JSON数据类型用法及与传统JSON字符串对比

《详解MySQL中JSON数据类型用法及与传统JSON字符串对比》MySQL从5.7版本开始引入了JSON数据类型,专门用于存储JSON格式的数据,本文将为大家简单介绍一下MySQL中JSON数据类型... 目录前言基本用法jsON数据类型 vs 传统JSON字符串1. 存储方式2. 查询方式对比3. 索引

如何在Java Spring实现异步执行(详细篇)

《如何在JavaSpring实现异步执行(详细篇)》Spring框架通过@Async、Executor等实现异步执行,提升系统性能与响应速度,支持自定义线程池管理并发,本文给大家介绍如何在Sprin... 目录前言1. 使用 @Async 实现异步执行1.1 启用异步执行支持1.2 创建异步方法1.3 调用

小白也能轻松上手! 路由器设置优化指南

《小白也能轻松上手!路由器设置优化指南》在日常生活中,我们常常会遇到WiFi网速慢的问题,这主要受到三个方面的影响,首要原因是WiFi产品的配置优化不合理,其次是硬件性能的不足,以及宽带线路本身的质... 在数字化时代,网络已成为生活必需品,追剧、游戏、办公、学习都离不开稳定高速的网络。但很多人面对新路由器

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分