Xtrabackup导致主从延时问题

2024-04-25 14:52

本文主要是介绍Xtrabackup导致主从延时问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景问题

公司数据库备份采用Xtrabackup, 备份期间会导致数据库实例产生主从延时,增加数据库告警数量。而且数据库主从延时会影响数据访问的准确性,延时期间如果主库发生故障,会有数据丢失的风险;延时也可能影响抽数等相关任务;

原因分析:Xtrabackup备份完idb数据文件后,执行FLUSH TABLES WITH READ LOCK(FTWRL),取得一致性位点,然后开始备份非InnoDB文件(如frm、MYD、MYI、CSV、opt、par等格式的文件),在拷贝非InnoDB文件的过程当中,数据库处于全局只读状态,直到非InnoDB文件备份完毕后释放;

参数说明

默认参数

FTWRL ,它有两个作用,

1:将打开的表关闭,并将内存中的脏数据刷到硬盘,从而保证数据的一致性;

2:获取全局读锁,阻塞其他线程的写操作,从而确保备份过程中数据不被修改;

--lock-ddl:

采用"LOCK TABLES FOR BACKUP",参数的作用是在整个备份过程中获取全局的元数据锁(MDL),以阻止所有 DDL 操作。这意味着当使用此参数时,任何尝试对数据库进行 DDL 操作(如 ALTER TABLE、CREATE TABLE 等)的线程都将被阻塞,直到备份完成并释放 MDL 锁。

FTWRL 和LOCK TABLES FOR BACKUP 区别

1,范围:FTWRL锁定所有表,包括事务性和非事务性的;LOCK TABLES FOR BACKUP主要锁定非事务性的表。

2, 阻塞: FTWRL会阻塞所有表的更新操作,LOCK TABLES FOR BACKUP只阻塞非事务表的更新操作;

3, LOCK TABLES FOR BACKUP

--lock-ddl-per-table

参数的作用是为每个备份的表单独获取 MDL 锁。这意味着备份工具会针对每个非 InnoDB 表单独加锁,而不是在整个备份过程中加全局锁。这种方式可以减少对数据库操作的阻塞,因为不是所有的 DDL 操作都会被阻塞,只有那些针对正在备份的表的 DDL 操作才会被阻塞,从而降低对数据库延时的影响;

--lock-ddl-per-table备份过程日志如下,日志中可以看到,备份每张表的时候都单独添加MDL锁

240313 12:49:27 Locking MDL for mysql.plugin
240313 12:49:27 [01] Copying ./mysql/plugin.ibd to /export/data/dbbak/localbackup/mysql/plugin.ibd
240313 12:49:27 [01]        ...done
240313 12:49:27 Locking MDL for mysql.servers
240313 12:49:27 [01] Copying ./mysql/servers.ibd to /export/data/dbbak/localbackup/mysql/servers.ibd
240313 12:49:27 [01]        ...done
240313 12:49:27 Locking MDL for mysql.help_topic
240313 12:49:27 [01] Copying ./mysql/help_topic.ibd to /export/data/dbbak/localbackup/mysql/help_topic.ibd
240313 12:49:27 [01]        ...done
240313 12:49:27 Locking MDL for mysql.help_category

功能测试

下面测试对比xtrabackup默认备份方式和 --lock-ddl-per-table方式 对备份延时,备份时长的影响;

备份方式

FTWRL

lock-ddl-per-table 第1次

lock-ddl-per-table 第2次

lock-ddl 第1次

lock-ddl 第2次

备份节点

xx,xx,xx,xx

xx,xx,xx,xxxx,xx,xx,xxxx,xx,xx,xxxx,xx,xx,xx

节点配置

8c 24576M

8c 24576M

8c 24576M

8c 24576M

8c 24576M

落盘方式

云盘

云盘

云盘

云盘

云盘

备份数据量

295GB

295GB

295GB

295GB

295GB

开始时间

3/13 15:26

3/13 15:26

3/13 16:37

3/13 20:13

3/13 20:20

结束时间

3/13 16:06

3/13 16:08

3/13 17:20

3/13 21:04

3/13 21:10

备份时长

40min

42min

43min

51min

50min

备份产生延时

114s

0

0

115s

120s

结论

1, 通过使用lock-ddl-per-table功能,会解决备份延时问题;

2, 相较于默认FTWRL方式,lock-ddl-per-table和lock-ddl备份时间会有些延长,如果个别业务在特定时间有大数据任务,要多加留意,避免备份时间延长从而影响抽数任务完成时间,进而影响上下游相关任务

这篇关于Xtrabackup导致主从延时问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/934993

相关文章

Springboot整合Redis主从实践

《Springboot整合Redis主从实践》:本文主要介绍Springboot整合Redis主从的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言原配置现配置测试LettuceConnectionFactory.setShareNativeConnect

MySQL 设置AUTO_INCREMENT 无效的问题解决

《MySQL设置AUTO_INCREMENT无效的问题解决》本文主要介绍了MySQL设置AUTO_INCREMENT无效的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录快速设置mysql的auto_increment参数一、修改 AUTO_INCREMENT 的值。

关于跨域无效的问题及解决(java后端方案)

《关于跨域无效的问题及解决(java后端方案)》:本文主要介绍关于跨域无效的问题及解决(java后端方案),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录通用后端跨域方法1、@CrossOrigin 注解2、springboot2.0 实现WebMvcConfig

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Java死锁问题解决方案及示例详解

《Java死锁问题解决方案及示例详解》死锁是指两个或多个线程因争夺资源而相互等待,导致所有线程都无法继续执行的一种状态,本文给大家详细介绍了Java死锁问题解决方案详解及实践样例,需要的朋友可以参考下... 目录1、简述死锁的四个必要条件:2、死锁示例代码3、如何检测死锁?3.1 使用 jstack3.2

解决JSONField、JsonProperty不生效的问题

《解决JSONField、JsonProperty不生效的问题》:本文主要介绍解决JSONField、JsonProperty不生效的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录jsONField、JsonProperty不生效javascript问题排查总结JSONField

github打不开的问题分析及解决

《github打不开的问题分析及解决》:本文主要介绍github打不开的问题分析及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、找到github.com域名解析的ip地址二、找到github.global.ssl.fastly.net网址解析的ip地址三

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地

springboot加载不到nacos配置中心的配置问题处理

《springboot加载不到nacos配置中心的配置问题处理》:本文主要介绍springboot加载不到nacos配置中心的配置问题处理,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录springboot加载不到nacos配置中心的配置两种可能Spring Boot 版本Nacos

Java中JSON格式反序列化为Map且保证存取顺序一致的问题

《Java中JSON格式反序列化为Map且保证存取顺序一致的问题》:本文主要介绍Java中JSON格式反序列化为Map且保证存取顺序一致的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未... 目录背景问题解决方法总结背景做项目涉及两个微服务之间传数据时,需要提供方将Map类型的数据序列化为co