ShardingSphere 5.x 系列【5】Spring Boot 3.1 集成Sharding Sphere-JDBC并实现读写分离

2024-02-04 17:44
文章标签 java 分离 实现 jdbc spring 系列 读写 boot 集成 3.1 sharding shardingsphere sphere

本文主要是介绍ShardingSphere 5.x 系列【5】Spring Boot 3.1 集成Sharding Sphere-JDBC并实现读写分离，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

有道无术，术尚可求，有术无道，止于术。

本系列Spring Boot 版本 3.1.0

本系列ShardingSphere 版本 5.4.0

源码地址：https://gitee.com/pearl-organization/study-sharding-sphere-demo

文章目录

    • 1. 概述
    • 2. 使用限制
    • 3. 案例演示
      • 3.1 一主双从
      • 3.2 项目搭建
      • 3.3 配置
      • 3.4 测试
    • 4. 负载均衡算法
      • 4.1 轮询
      • 4.2 随机
      • 4.3 权重
      • 4.4 自定义

1. 概述

读写分离是一种数据库部署架构，将数据库拆分为读库和写库，写库负责处理事务性的增删改操作，读库负责处理查询操作，适用于查询多，写入少的应用系统。读写分离将查询请求均匀的分散到多个从库中，可以提升数据库的吞吐量，可以提高系统的可用性，当宕机一台数据库不影响系统的正常运行。

读写分离的实现基于数据的的主从部署架构，一主多从读写分离部署示例：
在这里插入图片描述

同时读写分离也带来了一些问题：

  • 数据一致性：多个主库之间的数据一致性，以及主库与从库之间的数据一致性
  • 复杂性：开发和运维操作变得更加复杂

2. 使用限制

ShardingSphere提供了读写分离功能管理主从数据库，实现透明化的读写分离功能，让用户像使用一个数据库一样使用主从架构的数据库，并提供了多种负载均衡策略，用于将查询请求转发至不同从库。

使用限制：

  • 目前仅支持一主多从
  • 不处理主库和从库的数据同步
  • 不处理主库和从库的数据同步延迟导致的数据不一致
  • 不支持主库多写
  • 不处理主从库间的事务一致性，主从模型中，事务中的数据读写均用主库

3. 案例演示

3.1 一主双从

使用MySql搭建一主双从，并同步一张用于测试的订单表：

在这里插入图片描述

3.2 项目搭建

创建一个Spring Boot基础工程，并引入相关依赖。

Parent：

	<parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>3.1.0</version><relativePath/> <!-- lookup parent from repository --></parent>

Spring Boot基础依赖：

		<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency>

Mybatis Plus：

		<dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-spring-boot3-starter</artifactId><version>3.5.5</version></dependency><dependency><groupId>com.mysql</groupId><artifactId>mysql-connector-j</artifactId><scope>runtime</scope></dependency>

ShardingSphere在5.3.0及之后的版本，考虑到维护兼容成本，更加专心于自身功能迭代，移除了Spring Boot Starter，所以只能引入 ShardingSphere-JDBC核心包：

		<dependency><groupId>org.apache.shardingsphere</groupId><artifactId>shardingsphere-jdbc-core</artifactId><version>5.4.0</version></dependency><!--java.lang.ClassNotFoundException: com.sun.xml.internal.bind.v2.ContextFactory--><dependency><groupId>org.glassfish.jaxb</groupId><artifactId>jaxb-runtime</artifactId><version>2.3.8</version></dependency>

最后使用代码工具生成订单相关业务代码：
在这里插入图片描述

3.3 配置

ShardingSphere-JDBC在5.3.0及之后的版本不再提供Spring Boot Starter，所以配置方面有较大的变化，目前只支持Java API和YAML 进行配置。

ShardingSphere 提供了 JDBC 驱动，首先需要在application.yml中配置ShardingSphereDriver 。

server:port: 8080
spring:datasource:# 配置 DataSource Driverdriver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriver# 指定 YAML 配置文件url: jdbc:shardingsphere:classpath:readwrite-splitting-config.yml # 读写分离配置文件

application.yml同级目录下创建readwrite-splitting-config.yml续写分离配置文件，在该文件中，首先添加数据源配置：

# 数据源配置
dataSources:# 主库write_ds: # 逻辑名称dataSourceClassName: com.zaxxer.hikari.HikariDataSourcedriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://192.168.56.101:3306/testusername: rootpassword: "root"# 从库1read_ds_0:dataSourceClassName: com.zaxxer.hikari.HikariDataSourcedriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://192.168.56.101:3307/testusername: rootpassword: "root"# 从库2read_ds_1:dataSourceClassName: com.zaxxer.hikari.HikariDataSourcedriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://192.168.56.101:3308/testusername: rootpassword: "root"

然后添加读写分离规则、从库负载均衡相关配置：

# 规则配置
rules:# 读写分离配置- !READWRITE_SPLITTINGdataSources: # 数据源readwrite_ds: # 读写分离逻辑数据源名称writeDataSourceName: write_ds # 写库数据源名称readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔- read_ds_0- read_ds_1transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMICloadBalancerName: read # 负载均衡自定义算法名称# 负载均衡算法loadBalancers:read:  # 自定义的算法名称type: RANDOM # 负载均衡算法类型
props:# 是否打印 SQLsql-show: true

3.4 测试

添加查询、新增测试访问接口：

@RestController
@RequestMapping("/order")
@RequiredArgsConstructor
public class OrderController {private final OrderService orderService;@GetMapping("/list")public List<OrderEntity> list() {return orderService.list();}@GetMapping("/save")public Object save() {OrderEntity orderEntity=new OrderEntity();orderEntity.setPhone(18888888888L);orderEntity.setAddress("湖南长沙");orderEntity.setOrderTime(LocalDateTime.now());orderEntity.setProductId(1L);orderEntity.setOrderTime(LocalDateTime.now());orderEntity.setId(IdUtil.getSnowflakeNextId());orderService.save(orderEntity);return "操作成功";}
}

启动项目，多次访问新增接口，可以看到都是走的主库：
在这里插入图片描述
多次访问查询接口，可以看到都是走的从库：
在这里插入图片描述

4. 负载均衡算法

负载均衡（Load Balancing）用于将工作负载分配到多个计算资源，以提高性能、可靠性、可扩展性。读写分离环境下，对于多台从库的访问策略，ShardingSphere内置了多种负载均衡算法，满足用户绝大多数业务场景的需要。

4.1 轮询

按顺序轮流对读库进行访问。

# 规则配置
rules:# 读写分离配置- !READWRITE_SPLITTINGdataSources: # 数据源readwrite_ds: # 读写分离逻辑数据源名称writeDataSourceName: write_ds # 写库数据源名称readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔- read_ds_0- read_ds_1transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMICloadBalancerName: read # 负载均衡自定义算法名称# 负载均衡算法loadBalancers:read:  # 自定义的算法名称type: ROUND_ROBIN # 负载均衡算法类型

4.2 随机

随机选取一台读库进行访问。

# 规则配置
rules:# 读写分离配置- !READWRITE_SPLITTINGdataSources: # 数据源readwrite_ds: # 读写分离逻辑数据源名称writeDataSourceName: write_ds # 写库数据源名称readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔- read_ds_0- read_ds_1transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMICloadBalancerName: read # 负载均衡自定义算法名称# 负载均衡算法loadBalancers:read:  # 自定义的算法名称type: RANDOM # 负载均衡算法类型

4.3 权重

给读库分配权重，权重高的优先访问。

# 规则配置
rules:# 读写分离配置- !READWRITE_SPLITTINGdataSources: # 数据源readwrite_ds: # 读写分离逻辑数据源名称writeDataSourceName: write_ds # 写库数据源名称readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔- read_ds_0- read_ds_1transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMICloadBalancerName: read # 负载均衡自定义算法名称# 负载均衡算法loadBalancers:read:  # 自定义的算法名称type: WEIGHT # 负载均衡算法类型# 属性props:# 属性名使用读库名称，参数填写读库对应的权重值。权重参数范围最小值 > 0，合计 <= Double.MAX_VALUE。# 读库名称: 权重read_ds_0: 9read_ds_1: 1

4.4 自定义

考虑到业务场景的复杂性，提供基于SPI 接口实现符合自己业务需要的负载均衡算法。

ShardingSphere提供了读库负载均衡算法接口ReadQueryLoadBalanceAlgorithm，用户根据自定的算法返回一个可访问的读库。

public interface ReadQueryLoadBalanceAlgorithm extends ShardingSphereAlgorithm {/**** @param name 读写分离逻辑数据源名称* @param writeDataSourceName 写库数据源名称* @param readDataSourceNames 读库数据源名称集合* @return 命中的读库名称*/String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames) {}

实现ReadQueryLoadBalanceAlgorithm接口，自定义一个负载均衡算法：

public final class CustomReadQueryLoadBalanceAlgorithm implements ReadQueryLoadBalanceAlgorithm {/*** 配置类中的props属性*     # 负载均衡算法*     loadBalancers:*       read:  # 自定义的算法名称*         type: CUSTOM # 负载均衡算法类型*         # 属性*         props:*           # 属性名使用读库名称，参数填写读库对应的权重值。权重参数范围最小值 > 0，合计 <= Double.MAX_VALUE。*           # 读库名称: 权重*           read_ds_0: 9*           read_ds_1: 1*/private Properties props;// 将配置类props属性赋值给当前对象 public void init(Properties props) {this.props = props;}public String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames) {// 自定义算法逻辑（这里演示，直接返回第一个）return readDataSourceNames.get(0);}/*** 声明算法类型*/public String getType() {return "CUSTOM";}/*** 是否是默认*/public boolean isDefault() {return false;}public Properties getProps() {return props;}public void setProps(Properties props) {this.props = props;}
}

在resources目录下创建META-INF\services文件夹，并创建文件，名称为org.apache.shardingsphere.readwritesplitting.spi.ReadQueryLoadBalanceAlgorithm，文件内容为自定义算法类全限定类名：

com.pearl.shardingsphere.rw.algorithm.CustomReadQueryLoadBalanceAlgorithm

在这里插入图片描述
配置类修改算法类型为自定义：

# 规则配置
rules:# 读写分离配置- !READWRITE_SPLITTINGdataSources: # 数据源readwrite_ds: # 读写分离逻辑数据源名称writeDataSourceName: write_ds # 写库数据源名称readDataSourceNames: # 读库数据源名称，多个从数据源用逗号分隔- read_ds_0- read_ds_1transactionalReadQueryStrategy: PRIMARY # 事务内读请求的路由策略，可选值：PRIMARY（路由至主库）、FIXED（同一事务内路由至固定数据源）、DYNAMIC（同一事务内路由至非固定数据源）。默认值：DYNAMICloadBalancerName: read # 负载均衡自定义算法名称# 负载均衡算法loadBalancers:read:  # 自定义的算法名称type: CUSTOM # 负载均衡算法类型

访问查询接口，看到使用的都是第一个读库，说明自定义算法生效：
在这里插入图片描述

这篇关于ShardingSphere 5.x 系列【5】Spring Boot 3.1 集成Sharding Sphere-JDBC并实现读写分离的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/678313。

相关文章

Python如何实现高效的文件/目录比较

Python如何实现高效的文件/目录比较

《Python如何实现高效的文件/目录比较》在系统维护、数据同步或版本控制场景中,我们经常需要比较两个目录的差异,本文将分享一下如何用Python实现高效的文件/目录比较,并灵活处理排除规则,希望对大... 目录案例一：基础目录比较与排除实现案例二：高性能大文件比较案例三：跨平台路径处理案例四：可视化差异报
阅读更多...
聊聊springboot中如何自定义消息转换器

聊聊springboot中如何自定义消息转换器

《聊聊springboot中如何自定义消息转换器》SpringBoot通过HttpMessageConverter处理HTTP数据转换,支持多种媒体类型,接下来通过本文给大家介绍springboot中... 目录核心接口springboot默认提供的转换器如何自定义消息转换器Spring Boot 中的消息
阅读更多...
Springboot项目构建时各种依赖详细介绍与依赖关系说明详解

Springboot项目构建时各种依赖详细介绍与依赖关系说明详解

《Springboot项目构建时各种依赖详细介绍与依赖关系说明详解》SpringBoot通过spring-boot-dependencies统一依赖版本管理,spring-boot-starter-w... 目录一、spring-boot-dependencies1.简介2. 内容概览3.核心内容结构4.
阅读更多...
Spring Boot 整合 SSE(Server-Sent Events)实战案例(全网最全)

Spring Boot 整合 SSE(Server-Sent Events)实战案例(全网最全)

《SpringBoot整合SSE(Server-SentEvents)实战案例(全网最全)》本文通过实战案例讲解SpringBoot整合SSE技术,涵盖实现原理、代码配置、异常处理及前端交互,... 目录Spring Boot 整合 SSE（Server-Sent Events）1、简述SSE与其他技术的对
阅读更多...
Spring Security 前后端分离场景下的会话并发管理

Spring Security 前后端分离场景下的会话并发管理

《SpringSecurity前后端分离场景下的会话并发管理》本文介绍了在前后端分离架构下实现SpringSecurity会话并发管理的问题,传统Web开发中只需简单配置sessionManage... 目录背景分析传统 web 开发中的 sessionManagement 入口ConcurrentSess
阅读更多...
Java整合Protocol Buffers实现高效数据序列化实践

Java整合Protocol Buffers实现高效数据序列化实践

《Java整合ProtocolBuffers实现高效数据序列化实践》ProtocolBuffers是Google开发的一种语言中立、平台中立、可扩展的结构化数据序列化机制,类似于XML但更小、更快... 目录一、Protocol Buffers简介1.1 什么是Protocol Buffers1.2 Pro
阅读更多...
Python脚本轻松实现检测麦克风功能

Python脚本轻松实现检测麦克风功能

《Python脚本轻松实现检测麦克风功能》在进行音频处理或开发需要使用麦克风的应用程序时,确保麦克风功能正常是非常重要的,本文将介绍一个简单的Python脚本,能够帮助我们检测本地麦克风的功能,需要的... 目录轻松检测麦克风功能脚本介绍一、python环境准备二、代码解析三、使用方法四、知识扩展轻松检测麦
阅读更多...
Java实现本地缓存的四种方法实现与对比

Java实现本地缓存的四种方法实现与对比

《Java实现本地缓存的四种方法实现与对比》本地缓存的优点就是速度非常快,没有网络消耗,本地缓存比如caffine,guavacache这些都是比较常用的,下面我们来看看这四种缓存的具体实现吧... 目录1、HashMap2、Guava Cache3、Caffeine4、Encache本地缓存比如 caff
阅读更多...
MyBatis-Plus 与 Spring Boot 集成原理实战示例

MyBatis-Plus 与 Spring Boot 集成原理实战示例

《MyBatis-Plus与SpringBoot集成原理实战示例》MyBatis-Plus通过自动配置与核心组件集成SpringBoot实现零配置,提供分页、逻辑删除等插件化功能,增强MyBa... 目录 一、MyBATis-Plus 简介 二、集成方式（Spring Boot）1. 引入依赖 三、核心机制
阅读更多...
Java高效实现Word转PDF的完整指南

Java高效实现Word转PDF的完整指南

《Java高效实现Word转PDF的完整指南》这篇文章主要为大家详细介绍了如何用Spire.DocforJava库实现Word到PDF文档的快速转换,并解析其转换选项的灵活配置技巧,希望对大家有所帮助... 目录方法一：三步实现核心功能方法二：高级选项配置性能优化建议方法补充ASPose 实现方案Libre
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2