mysql order by的执行原理,以及优化思路,怎么优化order by

2024-08-20 18:04

本文主要是介绍mysql order by的执行原理,以及优化思路,怎么优化order by,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

mysql order by的执行原理,以及优化思路,怎么优化order by

select id, name,age,city,address from table_a t where t.city = '深圳' order by age;

Mysql Order by 排序:

1. 有这样几种方式:

1.1 全字段排序

全字段排序概念:
将最终结果集中所有的字段都放进 sort buffer中,然后在sort buffer中针对排序字段进行快速排序。 

数据太大会使用到临时文件进行辅助排序,使用临时文件排序的时候,用的是归并排序算法 。
sort_buffer_size 进行设置 sort_buffer 的大小。全字段排序只需要一次回表。

1.2 Rowid排序

Rowid排序概念:
只将与排序相关的字段和 rowId 放入 sort buffer,其余结果集需要用到的数据在排序完成后,通过 rowId 回表取得。

rowid 排序就是,只把查询SQL需要用于排序的字段和主键id,到sort_buffer中。Rowid排序需要回表两次。


上面这两种排序如果待排序的数据量大小没有超过sort_buffer_size大小,那么还是在 sort_buffer中排序,速度快。不涉及到外部排序。
 

2. 上面两种排序方式,那mysql order by语句是按照哪种方式进行排序的呢?
max_length_for_sort_data, 它表示MySQL用于排序行数据的长度的一个参数,如果单行的长度超过这个值,MySQL 就认为单行太大,就使用rowid 排序,否则使用全字段排序。


3. 全字段排序与rowid排序对比
全字段排序一次回表,性能高。sort_buffer内存不够的话,就需要用到磁盘临时文件,造成磁盘访问。
rowid排序需要两次回表,可排序的数据多。sort_buffer可以放更多数据,但是需要再回到原表去取数据,比全字段排序多一次回表。
一般情况下,对于InnoDB存储引擎,会优先使用全字段排序。可以发现 max_length_for_sort_data参数设置为1024,这个数比较大的。一般情况下,排序字段不会超过这个值,也就是都会走全字段排序。

但是有的时候,数据量太大,即使只将要排序的字段+主键id放入到 sort_buffer 中仍然存不下,这个时候就需要使用到外部文件了


4. explain 说明, 执行explain语句的时候,可以发现下面的信息:
explain语句的时候,发现 Using filesort 用到了临时文件进行排序
还能看到 Using temporary 用到了临时表,临时表存储引擎为 memory 。

如果当前 MySQL 使用的是内存临时表的话,将会直接使用 rowId 排序,这时的回表(回临时表取数据)只是在内存表中读数据,操作不涉及硬盘IO 。

MySQL 提供了 tmp_table_size 参数限制了内存临时表的大小,默认值是 16M,如果临时表大小超过了tmp_table_size,那么内存临时表就会转成磁盘临时表。这时的回表意味着磁盘随机读,所以会搭配全字段排序方式。


如果数据量大于tmp_table_size, 就不能用内存临时表了,需要用磁盘临时表,这时的回表意味着磁盘随机读,所以会搭配全字段排序方式。
 


5.  order by的一些优化思路
我们如何优化order by语句呢?

A. 联合索引 因为数据是无序的,所以就需要排序。如果数据本身是有序的,那就不用排了。而索引数据本身是有序的,我们通过建立联合索引,优化order by 语句。联合索引 - 就是通过要排序的字段和where条件的字段一起创建联合索引。

B.  覆盖索引: 上面的联合索引虽然不需要排序,但是需要回表查询字段, 就可以考虑覆盖索引 。 select查询的字段和order by排序字段以及where条件字段一起都建一个索引,覆盖索引,就是索引里包含了需要的所有数据(查询数据、排序数据)这样就不需要任何回表了


C. 调整参数优化
C1. sort_buffer 值调大一点。 值太小,数据量大的话,会借助磁盘临时文件排序.  默认是mysql 5.7.5  是256k, mysql 5.7.6是 8M

C2. max_length_for_sort_data值调大一点。值太小的话,order by会走rowid排序,会回表,降低查询性能。默认是1024大小

C3. tmp_table_size 值调大一点。 值太小就不能使用内存临时表,需要用到磁盘临时表,磁盘随机读影响性能。

在排序字段无索引的情况下,mysql使用优先队列进行排序(即堆排序)对 order by + limit n 排序语句进行优化。
过程:
    在所有待排序的数据,取数量为 LIMIT 的数据,构建一个堆。
    不断的取下一行数据,更新堆节点。
    当所有行的扫描完,得到最终的排序结果

这篇关于mysql order by的执行原理,以及优化思路,怎么优化order by的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090791

相关文章

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

mysql中insert into的基本用法和一些示例

《mysql中insertinto的基本用法和一些示例》INSERTINTO用于向MySQL表插入新行,支持单行/多行及部分列插入,下面给大家介绍mysql中insertinto的基本用法和一些示例... 目录基本语法插入单行数据插入多行数据插入部分列的数据插入默认值注意事项在mysql中,INSERT I

一文详解MySQL如何设置自动备份任务

《一文详解MySQL如何设置自动备份任务》设置自动备份任务可以确保你的数据库定期备份,防止数据丢失,下面我们就来详细介绍一下如何使用Bash脚本和Cron任务在Linux系统上设置MySQL数据库的自... 目录1. 编写备份脚本1.1 创建并编辑备份脚本1.2 给予脚本执行权限2. 设置 Cron 任务2

qt5cored.dll报错怎么解决? 电脑qt5cored.dll文件丢失修复技巧

《qt5cored.dll报错怎么解决?电脑qt5cored.dll文件丢失修复技巧》在进行软件安装或运行程序时,有时会遇到由于找不到qt5core.dll,无法继续执行代码,这个问题可能是由于该文... 遇到qt5cored.dll文件错误时,可能会导致基于 Qt 开发的应用程序无法正常运行或启动。这种错

电脑提示xlstat4.dll丢失怎么修复? xlstat4.dll文件丢失处理办法

《电脑提示xlstat4.dll丢失怎么修复?xlstat4.dll文件丢失处理办法》长时间使用电脑,大家多少都会遇到类似dll文件丢失的情况,不过,解决这一问题其实并不复杂,下面我们就来看看xls... 在Windows操作系统中,xlstat4.dll是一个重要的动态链接库文件,通常用于支持各种应用程序

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

SQL中JOIN操作的条件使用总结与实践

《SQL中JOIN操作的条件使用总结与实践》在SQL查询中,JOIN操作是多表关联的核心工具,本文将从原理,场景和最佳实践三个方面总结JOIN条件的使用规则,希望可以帮助开发者精准控制查询逻辑... 目录一、ON与WHERE的本质区别二、场景化条件使用规则三、最佳实践建议1.优先使用ON条件2.WHERE用