mysql分库分表,包含概念+具体实操,很细节~

2024-08-22 15:28

本文主要是介绍mysql分库分表,包含概念+具体实操,很细节~,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    大家好,我是程序媛雪儿,今天咱们唠唠mysql分库分表。

是什么

    

    ​mysql分库分表主要是为了应对数据量或访问量过大而导致单个数据库或单个表的性能瓶颈而采取的一种数据库架构设计。通过将数据分布到多个数据库或表中,能有效地提升数据库的性能,提高并发处理能力,减少单点故障的风险。

    上面这个解释是文邹邹的官方解释,其实总的来看,这个概念有以下几个点

1、为了解决什么问题

2、采用了什么方法来解决这个问题

3、能达到什么效果

好了,我们带着这三个问题继续深入了解这个知识点。

分库分表时机(为了解决什么问题)

1、前提:项目业务数据逐渐增多,业务发展比较迅猛,单表的数据量达到1000w或20g以后

2、优化已解决不了性能问题(主从读写分离,查询索引都处理了不管用)

3、IO瓶颈、CPU瓶颈

拆分策略(用什么办法解决这个问题)

垂直分库

    ​根据业务将不同的表拆分到不同的库中,如上图,一个电商系统一般包括多个模块,比如用户模块、订单模块、商品模块等等,垂直分库就是把这几个模块拆到不同的数据库里

特点:

1、按业务对数据分级管理、维护、监控、扩展

2、在高并发下,提高磁盘IO和数据量连接数

垂直分表

    ​如上图:一个商品信息表里,包含商品id、商品名称、商品分类、商品品牌、商品标题、商品描述,一般来说,我们看商品的时候,只有商品id、商品名称、商品分类、商品品牌、商品标题这几个数据是常看的,我们可以把它称为热数据,但是只有点击详情,才会看商品描述,那么商品描述便是冷数据,我们可以采用垂直分表,把冷热数据拆分

拆分规则:冷热拆分

1、把不常用的字段单独放到一张表里

2、把text、blob等大字段拆出来放到附表中

特点

1、冷热数据分离

2、减少IO过度争抢,两表互不影响

因为把大字段,且不经常查询的数据分离出来,每次IO都是热数据,冷数据不显示,可以提高性能

水平分库

    ​如上图,我们要把商品订单的数据做水平分库,也就是将一个库的数据拆分到多个库中。

应用怎么知道自己查的数据从哪个库中找呢?

根据路由规则确定

方案一:根据id节点取模,id%3==0的放0库,id%3==1的放1库,id%3==2的放2库

方案二:范围路由,前100w条数据放0库 ,100w-200w的数据放1库,依此类推

特点:

1、解决了单库大数据,高并发的瓶颈问题

2、提高了系统的稳定性和可用性

水平分表

    ​将一个表的数据拆分到多个表中(这个看起来和水平分库很像对不对?水平分表和水平分库最大的不同是水平分表分出来的表格可以在同一个库里,而水平分库一定是在不同的数据库里的)

特点:

1、优化单一表数据量过大产生的性能问题

2、避免IO争抢并减少锁表的几率

分库分表的新问题

1、分布式事务一致性问题

2、跨节点关联查询

3、跨节点分页、排序函数

4、主键避重

分库分表的中间件

1、sharding-sphere

    这个中间件我是使用过的,很简单,基本操作是maven引入中间件,直接在application.yml配置就可以使用了。

导包

        <!-- 实现分库分表--><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId><version>5.2.0</version></dependency>

application.yml配置

  # 分库分表配置shardingsphere:# 数据源配置datasource:# 多数据源以逗号隔开即可names: yudadayudada:type: com.zaxxer.hikari.HikariDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverjdbc-url: jdbc:mysql://xx.xx.xx.xx:xx/xxusername: rootpassword: xxxx# 规则配置rules:sharding:# 分片算法配置sharding-algorithms:# 自定义分片规则名answer-table-inline:type: INLINEprops:algorithm-expression: user_answer_$->{appId % 2}tables:user_answer:actual-data-nodes: yudada.user_answer_$->{0..1}# 分表策略table-strategy:standard:sharding-column: appIdsharding-algorithm-name: answer-table-inline

测试demo

@SpringBootTest
public class UserAnswerShardingTest {@Resourceprivate UserAnswerService userAnswerService;@Testpublic void test(){UserAnswer userAnswer1 = new UserAnswer();// 我们设置的是根据AppId分表的userAnswer1.setAppId(1L);userAnswer1.setUserId(1809119229891362817L);userAnswer1.setChoices("1");userAnswerService.save(userAnswer1);UserAnswer userAnswer2 = new UserAnswer();userAnswer2.setAppId(2L);userAnswer2.setUserId(1809119229891362817L);userAnswer2.setChoices("2");userAnswerService.save(userAnswer2);UserAnswer userAnswerServiceOne = userAnswerService.getOne(Wrappers.lambdaQuery(UserAnswer.class).eq(UserAnswer::getAppId, 1L));System.out.println(JSONUtil.toJsonStr(userAnswerServiceOne));UserAnswer userAnswerServiceTwo = userAnswerService.getOne(Wrappers.lambdaQuery(UserAnswer.class).eq(UserAnswer::getAppId, 2L));System.out.println(JSONUtil.toJsonStr(userAnswerServiceTwo));}

可以看出来使用是无痕的,代码中的写法不变

2、mycat

    欢迎大家关注我的微信公众号,程序媛雪儿,雪儿会在上面发布编程的知识碎片,也有雪儿博客地址,上面有详细系统的笔记,雪儿是全栈,但是公众号目前主要还是发后端的技术,以后可能也会涉及到一些前端的知识,我们下期见,拜拜~

这篇关于mysql分库分表,包含概念+具体实操,很细节~的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096657

相关文章

一文详解MySQL如何设置自动备份任务

《一文详解MySQL如何设置自动备份任务》设置自动备份任务可以确保你的数据库定期备份,防止数据丢失,下面我们就来详细介绍一下如何使用Bash脚本和Cron任务在Linux系统上设置MySQL数据库的自... 目录1. 编写备份脚本1.1 创建并编辑备份脚本1.2 给予脚本执行权限2. 设置 Cron 任务2

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

SQL中JOIN操作的条件使用总结与实践

《SQL中JOIN操作的条件使用总结与实践》在SQL查询中,JOIN操作是多表关联的核心工具,本文将从原理,场景和最佳实践三个方面总结JOIN条件的使用规则,希望可以帮助开发者精准控制查询逻辑... 目录一、ON与WHERE的本质区别二、场景化条件使用规则三、最佳实践建议1.优先使用ON条件2.WHERE用

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

MySQL 衍生表(Derived Tables)的使用

《MySQL衍生表(DerivedTables)的使用》本文主要介绍了MySQL衍生表(DerivedTables)的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学... 目录一、衍生表简介1.1 衍生表基本用法1.2 自定义列名1.3 衍生表的局限在SQL的查询语句select

MySQL 横向衍生表(Lateral Derived Tables)的实现

《MySQL横向衍生表(LateralDerivedTables)的实现》横向衍生表适用于在需要通过子查询获取中间结果集的场景,相对于普通衍生表,横向衍生表可以引用在其之前出现过的表名,本文就来... 目录一、横向衍生表用法示例1.1 用法示例1.2 使用建议前面我们介绍过mysql中的衍生表(From子句

六个案例搞懂mysql间隙锁

《六个案例搞懂mysql间隙锁》MySQL中的间隙是指索引中两个索引键之间的空间,间隙锁用于防止范围查询期间的幻读,本文主要介绍了六个案例搞懂mysql间隙锁,具有一定的参考价值,感兴趣的可以了解一下... 目录概念解释间隙锁详解间隙锁触发条件间隙锁加锁规则案例演示案例一:唯一索引等值锁定存在的数据案例二:

MySQL JSON 查询中的对象与数组技巧及查询示例

《MySQLJSON查询中的对象与数组技巧及查询示例》MySQL中JSON对象和JSON数组查询的详细介绍及带有WHERE条件的查询示例,本文给大家介绍的非常详细,mysqljson查询示例相关知... 目录jsON 对象查询1. JSON_CONTAINS2. JSON_EXTRACT3. JSON_TA