【MySQL 数据宝典】【磁盘结构】- 003 双写缓冲区

2024-04-19 11:28

本文主要是介绍【MySQL 数据宝典】【磁盘结构】- 003 双写缓冲区,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、双写缓冲区 ( Doublewrite Buffer Files)

1.1 背景介绍

写失效 (部分页失效)

  • InnoDB的页和操作系统的页大小不一致,InnoDB页大小一般为16K,操作系统页大小为4K,InnoDB的页写入到磁盘时,一个页需要分4次写。
  • 如果存储引擎正在写入页的数据到磁盘时发生了宕机,可能出现页只写了一部分的情况,比如只写了4K,就宕机了,这种情况叫做部分写失效(partial page write),可能会导致数据丢失。

19.jpg

1.2 双写缓冲区 Doublewrite Buffer

为了解决写失效问题,InnoDB实现了双写缓冲区,它位于系统表空间,是一个存储区域。
在BufferPool的页刷新到磁盘真正位置前,数据会先被存储在双写缓冲区
这样在宕机重启时,即使发生数据页损坏,可以通过该页的副本来还原该页,然后再进行redo log重做,确保了数据页的可靠性。

1.3 配置开关

默认情况下启用双写缓冲区,可以通过将 innodb_doublewrite 设置为0 来禁用。

mysql> show variables like '%innodb_doublewrite%';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| innodb_doublewrite | ON    |
+--------------------+-------+
1 row in set (0.01 sec)

1.4 数据双写流程

21.jpg

  • Step 1:脏页刷新到磁盘前,先写入双写缓冲区。
  • Step 2:使用 memcpy 函数将脏页复制到内存中的双写缓冲区。
  • Step 3:将双写缓冲区的数据分两次,每次1MB,顺序写入共享表空间的物理磁盘上。
  • Step 4:完成双写缓冲区的写入后,再将双写缓冲区中的页写入各个表的独立表空间文件中。

1.4.1 双写的原因

为啥写两次,刷一次数据文件保存数据不就可以了,为什么还要写共享表空间 ?

  • 性能提升: 共享表空间是在ibdata文件中划出的连续空间,专门用于存储双写缓冲区的数据。在这个过程中,双写缓冲区中的数据是连续存储的,因此写入磁盘时可以实现顺序写入。顺序写入通常比随机写入更快,因为它可以最大程度地减少磁盘头寻址的时间,从而提高了磁盘写入性能。
  • 数据可靠性: 完成共享表空间的写入后,再将数据写入到各个表的独立表空间文件中。这时,数据的写入变为离散的,因为每个表的独立表空间文件都是分散在磁盘上的。虽然这种写入方式可能比较慢,但它确保了数据的分散存储,提高了数据的可靠性。即使出现了硬件故障或其他意外情况,只影响到了某个表的数据文件,其他表的数据仍然是安全的。

双写缓冲区在写入过程中发生了宕机,数据页仍然有可能丢失。双写缓冲区的设计是为了减少写失效(partial page write)的风险,但并不能完全消除它

这篇关于【MySQL 数据宝典】【磁盘结构】- 003 双写缓冲区的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/917407

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

GSON框架下将百度天气JSON数据转JavaBean

《GSON框架下将百度天气JSON数据转JavaBean》这篇文章主要为大家详细介绍了如何在GSON框架下实现将百度天气JSON数据转JavaBean,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言一、百度天气jsON1、请求参数2、返回参数3、属性映射二、GSON属性映射实战1、类对象映

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

C# LiteDB处理时间序列数据的高性能解决方案

《C#LiteDB处理时间序列数据的高性能解决方案》LiteDB作为.NET生态下的轻量级嵌入式NoSQL数据库,一直是时间序列处理的优选方案,本文将为大家大家简单介绍一下LiteDB处理时间序列数... 目录为什么选择LiteDB处理时间序列数据第一章:LiteDB时间序列数据模型设计1.1 核心设计原则

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装