分库分表学习笔记(二)

2024-08-29 00:44
文章标签 学习 笔记 分库 分表

本文主要是介绍分库分表学习笔记(二),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分库分表学习笔记(一)-CSDN博客

分表分库规则

                                 图源(https://zhuanlan.zhihu.com/p/535713197)

水平分表

水平分表一般是我们数据库的数据太多了,原大众点评的订单单表早就已经突破两百G。

数据量太多的影响

1. 查询性能下降:随着数据量的增加,查询的响应时间可能会显著增加,尤其是当查询未使用索引或查询涉及大量数据扫描时(全表扫描)。这会导致查询的执行时间变长,甚至超时。

全表扫描的代价,数据库是按照页为单位,每次加载16kb到内存,加载的数据越多之前的数据查询的缓存按照LRU驱逐出去,导致整个库表查询耗费cpu,内存以及磁盘IO性能达到了极大的影响。

2. 索引维护成本增加:随着数据量的增长,索引的维护成本也会增加。插入、更新和删除操作将变得更加耗时,因为需要同步更新索引。

3. 磁盘I/O增加:大量数据会导致磁盘I/O操作频繁增加。这会进一步影响数据库的整体性能,尤其是在没有足够的内存来缓存常用数据的情况下。

4. 表锁和行锁竞争:在高并发环境中,表锁和行锁的竞争可能会导致事务等待时间增加,影响整体吞吐量。

5. 内存使用增加:数据库引擎可能需要更多的内存来处理大数据量的操作,如果内存不足,系统可能会频繁使用磁盘作为虚拟内存,进一步降低性能。

水平分表分库规则

1,按照时间范围分表

      时间范围分表这个比较常见,业务主要是以时间为维度的区分,这样比较高效

2,按照一致性hash进行分表 (采用mod 2^n 一致性Hash)

     在大众点评分库分表实践中,C端用户个人UserID后四位进行订单表分库分表,按照一致性hash ,对UserID进行mod32分到32个库里,分好库之后再按照将UserID后四位除以32 ,再Mod 32进行分表(防止数据倾斜)。这样达到1024张表。

单表容量达到上限后,因为UserID后四位取值范围0000 到 9999,选择一个可以分成最大8192(即 2^13)个表的范围来分配数据。因为已经是2^5 mod32来进行分表,我们可以最大扩容2^6到2^13次方。例如,你可能会将 UserID 后四位的值对 8192 取模,这样可以将数据均匀分配到 8192 个表中。

什么时候分库

当物理存储、内存、IO、CPU都出现了瓶颈

垂直分表分库规则

1,将大表拆为小表(按照业务类型)

2,按照数据更新频率,将数据库拆为哪些字段更新频率比较高,每次更新一起批量更新表其他字段属性,降低锁表字段,进而降低锁性能影响

什么时候分库

当物理存储、内存、IO、CPU都出现了瓶颈


 
引用

https://zhuanlan.zhihu.com/p/482549860

https://zhuanlan.zhihu.com/p/535713197

大众点评订单系统分库分表实践 - 美团技术团队

https://zhuanlan.zhihu.com/p/93643428

这篇关于分库分表学习笔记(二)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1116362

相关文章

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

Unity新手入门学习殿堂级知识详细讲解(图文)

《Unity新手入门学习殿堂级知识详细讲解(图文)》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程

MySQL按时间维度对亿级数据表进行平滑分表

《MySQL按时间维度对亿级数据表进行平滑分表》本文将以一个真实的4亿数据表分表案例为基础,详细介绍如何在不影响线上业务的情况下,完成按时间维度分表的完整过程,感兴趣的小伙伴可以了解一下... 目录引言一、为什么我们需要分表1.1 单表数据量过大的问题1.2 分表方案选型二、分表前的准备工作2.1 数据评估

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析