分库分表学习笔记(一)

2024-08-27 23:36
文章标签 学习 笔记 分库 分表

本文主要是介绍分库分表学习笔记(一),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

                                                图源(鹅厂技术架构师公众号)

 MySQL执行顺序:

	FROM:确定数据来源。JOIN:执行表之间的连接操作。WHERE:过滤记录。GROUP BY:对记录进行分组。HAVING:对分组结果进行过滤。SELECT:选择要返回的列。DISTINCT:去除重复记录(如果有)。ORDER BY:对结果排序。LIMIT:限制返回的记录数量。

分表分库的演进

系统随着用户量的提升,整个分库分表有以下阶段,随着数据库QPS,TPS的维度逐渐发生变化进行扩展

1.单库单表:用户量少的时候,单库单表可以扛住整个系统的需求

2.索引优化:用户量开始上升,通过索引优化,根据用户数据量建立索引区分度更高的索引,联合索引,覆盖索引等操作,减少回表操作,减少磁盘IO,可以降低mysql的cpu消耗,以及减少mysql缓冲数据的驱逐,LRU策略。

3.分表

分表,大众点评分表在主从之后大众点评订单系统分库分表实践 - 美团技术团队,应该是在主从依旧不能支撑系统性能,再考虑分表。图里应该是在微服务粒度已经很细的情况下,进行提前分表

看看gpt怎么说

提前分表:提前分表可以为未来的扩展做好准备,但也可能导致系统过早复杂化。过早分表可能会带来额外的开发、测试和维护成本。

后期分表:在业务量增长到一定程度后再分表,这样可以根据实际的性能瓶颈和数据特点进行更合理的分表设计。但这也可能导致在系统架构调整过程中出现更多挑战,尤其是在已经存在主从复制架构的情况下。

4.主从数据库配合

数据库的瓶颈已经因QPS太高造成的CPU瓶颈,之前的性能跟不上了,阿里云RDS可以在中间件级别实现主从分离,从库分担读的压力,多加几个从库。分担读的压力,从而降低QPS,CPU压力。主从库也顶不住了,检查数据库的配置,数据库配置4核心8g比较低,升级更高的配置。

5.缓存

缓存可以发生在,主从索引优化之前,表里的维度应该是数据库的读性能开始出现瓶颈,这个时候通过大量的cache优化,降低mysql查询引起的 cpu,磁盘IO操作太多的问题。进而降低读维度的性能瓶颈。

6.分库分表

随着读写维度都到了一定性能瓶颈,这个时候就需要考虑通过分库分表来降低cpu,磁盘IO的瓶颈,以及内存锁的瓶颈。分库分表可以降低, 磁盘 I/O,锁竞争,内存的压力。

 

https://zhuanlan.zhihu.com/p/535713197

https://zhuanlan.zhihu.com/p/93643428

大众点评订单系统分库分表实践 - 美团技术团队

这篇关于分库分表学习笔记(一)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1113107

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

基于SpringBoot+Mybatis实现Mysql分表

《基于SpringBoot+Mybatis实现Mysql分表》这篇文章主要为大家详细介绍了基于SpringBoot+Mybatis实现Mysql分表的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录基本思路定义注解创建ThreadLocal创建拦截器业务处理基本思路1.根据创建时间字段按年进

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操