【性能问题】如何解决MySQL索引失效带来的性能瓶颈这个棘手问题?

2024-01-18 00:44

本文主要是介绍【性能问题】如何解决MySQL索引失效带来的性能瓶颈这个棘手问题?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、背景

在上线的一个S1服务中,偶现db请求高时延,触发了sql执行超过2秒阈值告警,连续好几天都不规律触发告警,频率为每天1次。涉及的影响:如果超时,会导致新用户注册失败。所以Dev决定联合dba排查一下该现象的原因。

二、分析过程

2.1 live环境确认

dba根据告警日志信息,抓取抓取高时延SQL请求,在生产环境执行该sql,分析该SQL会全表扫描,没有预期的索引查询,耗时高达:40秒。

SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c1 = 'v1'OR c2 = 'v2'OR c3 = 'v3'OR c4 = 'v4'OR c5 = 'v5'OR c6 = 'v6'OR c7 = 'v7'OR c8 = 'v8'
2.2 non-live环境复现

验证发现,nonlive的执行计划会走索引查询,而不是live环境的全表扫描。

2.3 nonlive&live执行计划不一致原因分析

数据量不一致:nolive环境查询出1条记录,live环境可以查询处20000+条记录,可能导致mysql优化器认为全表扫描比使用索引更高效(不是所有请求都走全表扫描可以解释live环境高时延偶现现象)

三、优化方式

or 语句改成 union 语句,强制mysql走索引查询

(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c1 = 'v1')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c2 = 'v2')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c3 = 'v3')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c4 = 'v4')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c5 = 'v5')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c6 = 'v6')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c7 = 'v7')
UNION
(SELECT c1, c2, c3, c4, c5, c6, c7, c8, c9, c10
FROM tab_t1
WHERE c8 = 'v8')

四、知识总结–MySQL索引失效的原因

MySQL索引失效的原因有很多,下面列举几个比较常见的原因。

1.数据量太大
如果数据库中的数据量太大,索引可能会失效。这是因为当查询条件返回的数据太多时,MySQL会选择放弃使用索引而使用全表扫描。

2.索引列数据类型不匹配
如果索引列的数据类型与查询条件的数据类型不匹配,索引也会失效。例如,如果索引列的数据类型是VARCHAR,而查询条件是INT,MySQL将无法使用该索引。

3.索引列被函数处理
如果查询条件中包含函数,那么MySQL将无法使用索引。例如,如果查询条件是“SELECT * FROM my_table WHERE YEAR(created_at) = 2022”,MySQL将无法使用索引。

4.索引列使用了函数
如果索引列中使用了函数,MySQL将无法使用该索引。例如,如果索引列是“CONCAT(first_name, ’ ', last_name)”而查询条件是“WHERE first_name = ‘Tom’”,MySQL将无法使用该索引。

5.索引列过多
如果表中有太多的索引列,索引的效率将降低。这是因为MySQL需要在多个索引中进行选择,导致查询变慢。

6.查询条件中使用了OR
如果查询条件中使用了OR,MySQL将无法使用索引。例如,“SELECT * FROM my_table WHERE age = 20 OR age = 30”,MySQL将无法使用索引。

7.索引列上存在NULL值
如果索引列上存在NULL值,MySQL将无法使用该索引。这是因为NULL值不能与其他值进行比较。

五、知识总结–如何检测MySQL索引失效

1.使用EXPLAIN
EXPLAIN命令可以帮助我们分析查询语句的执行计划,从而找出索引失效的原因。例如,我们可以运行“EXPLAIN SELECT * FROM my_table WHERE age = 20”来查看MySQL是否使用了索引。如果MySQL使用了索引,我们会在Extra列中看到“Using index”。

2.使用慢查询日志
MySQL慢查询日志可以记录执行时间超过指定阈值的SQL语句,从而帮助我们找出可能存在索引失效的查询语句。可以通过修改MySQL配置文件中的slow_query_log参数来开启慢查询日志。然后通过分析慢查询日志来确定哪些查询语句执行时间过长,并检查是否存在索引失效的情况。

3.使用监控工具
MySQL有很多监控工具可以帮助我们分析数据库的性能瓶颈。其中一些工具可以分析查询语句的执行计划,并找出可能存在索引失效的问题。例如,Percona Toolkit和pt-query-digest可以帮助我们分析查询语句的执行计划,并找出可能存在索引失效的问题。

六、知识总结–如何修复MySQL索引失效

1.优化查询语句
如果查询语句不够优化,MySQL可能会放弃使用索引。我们可以通过重构查询语句来解决这个问题。例如,我们可以尽可能地避免使用OR,避免在索引列上使用函数,避免在查询条件中使用NULL值等等。

2.添加索引
如果某个查询语句没有使用索引,我们可以考虑为相应的列添加索引。但是要注意不要过度添加索引,因为这会影响MySQL的性能。

3.优化数据表结构
如果数据表结构不够优化,索引的效率也会受到影响。我们可以考虑优化数据表结构,例如将大型文本字段拆分为多个字段,将多个表拆分为多个表等等。

4.调整MySQL配置参数
MySQL有许多配置参数可以影响索引的效率。我们可以根据具体情况调整这些参数,例如key_buffer_size、innodb_buffer_pool_size等等。

这篇关于【性能问题】如何解决MySQL索引失效带来的性能瓶颈这个棘手问题?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/617665

相关文章

Android 12解决push framework.jar无法开机的方法小结

《Android12解决pushframework.jar无法开机的方法小结》:本文主要介绍在Android12中解决pushframework.jar无法开机的方法,包括编译指令、框架层和s... 目录1. android 编译指令1.1 framework层的编译指令1.2 替换framework.ja

MySQL主从同步延迟问题的全面解决方案

《MySQL主从同步延迟问题的全面解决方案》MySQL主从同步延迟是分布式数据库系统中的常见问题,会导致从库读取到过期数据,影响业务一致性,下面我将深入分析延迟原因并提供多层次的解决方案,需要的朋友可... 目录一、同步延迟原因深度分析1.1 主从复制原理回顾1.2 延迟产生的关键环节二、实时监控与诊断方案

SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法

《SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法》在SQLyog中执行存储过程时出现的前置缩进问题,实际上反映了SQLyog对SQL语句解析的一个特殊行为,本文给大家介绍了详... 目录问题根源正确写法示例永久解决方案为什么命令行不受影响?最佳实践建议问题根源SQLyog的语句分

慢sql提前分析预警和动态sql替换-Mybatis-SQL

《慢sql提前分析预警和动态sql替换-Mybatis-SQL》为防止慢SQL问题而开发的MyBatis组件,该组件能够在开发、测试阶段自动分析SQL语句,并在出现慢SQL问题时通过Ducc配置实现动... 目录背景解决思路开源方案调研设计方案详细设计使用方法1、引入依赖jar包2、配置组件XML3、核心配

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

MySQL数据库约束深入详解

《MySQL数据库约束深入详解》:本文主要介绍MySQL数据库约束,在MySQL数据库中,约束是用来限制进入表中的数据类型的一种技术,通过使用约束,可以确保数据的准确性、完整性和可靠性,需要的朋友... 目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UN

MySQL 多表连接操作方法(INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN)

《MySQL多表连接操作方法(INNERJOIN、LEFTJOIN、RIGHTJOIN、FULLOUTERJOIN)》多表连接是一种将两个或多个表中的数据组合在一起的SQL操作,通过连接,... 目录一、 什么是多表连接?二、 mysql 支持的连接类型三、 多表连接的语法四、实战示例 数据准备五、连接的性

解决IDEA报错:编码GBK的不可映射字符问题

《解决IDEA报错:编码GBK的不可映射字符问题》:本文主要介绍解决IDEA报错:编码GBK的不可映射字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录IDEA报错:编码GBK的不可映射字符终端软件问题描述原因分析解决方案方法1:将命令改为方法2:右下jav

MySQL中的分组和多表连接详解

《MySQL中的分组和多表连接详解》:本文主要介绍MySQL中的分组和多表连接的相关操作,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录mysql中的分组和多表连接一、MySQL的分组(group javascriptby )二、多表连接(表连接会产生大量的数据垃圾)MySQL中的

MyBatis模糊查询报错:ParserException: not supported.pos 问题解决

《MyBatis模糊查询报错:ParserException:notsupported.pos问题解决》本文主要介绍了MyBatis模糊查询报错:ParserException:notsuppo... 目录问题描述问题根源错误SQL解析逻辑深层原因分析三种解决方案方案一:使用CONCAT函数(推荐)方案二: