Mycat使用与部署

2024-05-12 04:58
文章标签 部署 使用 mycat

本文主要是介绍Mycat使用与部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Mycat使用与部署

  • 前言
  • 内容
    • 简介
    • 应用
    • 基本概念
    • 技术分析
      • 目录结构
      • 分片处理
        • 连续分片
        • 离散分片
        • 综合分片
      • 全局序列处理
  • 小结

前言

     今天和大家说说数据库中间件Mycat
在这里插入图片描述
     图片源自 Mycat官方网站 对于Mycat1.6版本的结构

内容

简介

      Mycat是目前活跃的开源数据库中间件,是一个彻底开源的面向企业应用开发的大数据库集群,它支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法.

应用

      在平时的项目中会用到Mycat来解决项目中MySQL数据库的如下三个主要问题

  •   数据库连接数
  •   表数据量大(空间)
    •   索引命不中全表扫描
    •   索引命中 存储在硬盘里IO操作
  •   硬件资源(QPS/TPS)

      主要用到的功能有读写分离和f分库分表
在这里插入图片描述

基本概念

      下面和大家说说在Mycat中的一些基本概念
示例图
      Mycat服务区域中-黄色标注的两个数据库是Mycat中定义的 逻辑库: db_user 与 db_store
      Mycat服务区域中-黄色标注的五个表是Mycat中定义的 逻辑表: 用户表\数据字典\用户地址表\门店\店员表
      MySQL服务区域中-两个紫色区域代表两台服务器
      MySQL服务区域中-两个db_user数据库是Mycat管理的拆分数据库
           分表条件是根据对用户表的UID对2取模, 不同条件可在Mycat-Conf文件下的rule.xml文件配置.
           数据字典表是两个库查询数据时常会连接的表单,由于数据量较小且为主要连表查询的信息所以在Mycat中配置为全局表.
           用户地址表的增删改查都与用户表的UID有着密切的联系.所以可以在Mycat中将其配置为ER表,关联条件就是外键—用户表的UID.
      MySQL服务区域中-两个db_store数据库是Mycat管理的主从数据库

技术分析

目录结构

目录结构
     

  • /bin 存放可执行文件./mycat {start|restart|stop|status…}
  • /conf 存放配置文件
    • server.xml -Mycat 服务器参数设置和用户授权的配置文件(启动参数)
<system><property name="useSqlStat">0</property><!-- 1为开启实时统计、0为关闭 --><property name="useGlobleTableCheck">0</property><!-- 1为开启全加班一致性检测、0为关闭 --><property name="sequnceHandlerType">2</property><!-- <property name="useCompression">1</property>--><!--1为开启mysql压缩协议--><!-- <property name="fakeMySQLVersion">5.6.20</property>--><!--设置模拟的MySQL版本号--><!-- <property name="processorBufferChunk">40960</property> --><!-- <property name="processors">1</property><property name="processorExecutor">32</property> --><!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena--><property name="processorBufferPoolType">0</property><!--默认是65535 64K 用于sql解析时最大文本长度 --><!--<property name="maxStringLiteralLength">65535</property>--><!--<property name="sequnceHandlerType">0</property>--><!--<property name="backSocketNoDelay">1</property>--><!--<property name="frontSocketNoDelay">1</property>--><!--<property name="processorExecutor">16</property>--><!--<property name="serverPort">8066</property> <property name="managerPort">9066</property><property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property><property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --><!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志--><property name="handleDistributedTransactions">0</property><!--off heap for merge/order/group/limit 1开启 0关闭 --><property name="useOffHeapForMerge">1</property><!--单位为m --><property name="memoryPageSize">1m</property><!--单位为k --><property name="spillsFileBufferSize">1k</property><property name="useStreamOutput">0</property><!--单位为m --><property name="systemReserveMemorySize">384m</property><!--是否采用zookeeper协调切换 --><property name="useZKSwitch">true</property></system><!-- 全局SQL防火墙设置 --><!-- <firewall><whitehost><host host="127.0.0.1" user="mycat"/><host host="127.0.0.2" user="mycat"/></whitehost><blacklist check="false"></blacklist></firewall> --><user name="root"><property name="password">123456</property><property name="schemas">db_store,db_user</property><!-- 表级 DML 权限设置 --><!-- <privileges check="false"><schema name="db_user" dml="0110" ><table name="users" dml="1111"></table> IUSD<table name="useraddres" dml="1110"></table></schema></privileges> --></user>
  • schema.xml - 逻辑库和逻辑表的定义
 <schema sqlMaxLimit="100" checkSQLschema="false" name="db_store"><table name="store" primaryKey="storeID" dataNode="db_store_dataNode"/><table name="employee" primaryKey="employeeID" dataNode="db_store_dataNode"/></schema><schema sqlMaxLimit="100" checkSQLschema="false" name="db_user"><table name="data_dictionary" primaryKey="dataDictionaryID" dataNode="db_user_dataNode1,db_user_dataNode2" type="global"/><table name="users" primaryKey="userID" dataNode="db_user_dataNode$1-2" rule="mod-userID-long"><childTable name="user_address" primaryKey="addressID" parentKey="userID" joinKey="userID"/></table></schema><!-- 节点配置 --><!-- db_store --><dataNode name="db_store_dataNode" database="db_store" dataHost="db_storeHOST"/><!-- db_user --><dataNode name="db_user_dataNode1" database="db_user" dataHost="db_userHOST1"/><dataNode name="db_user_dataNode2" database="db_user" dataHost="db_userHOST2"/><!-- 节点主机配置 --><!-- 配置db_store的节点主机 --><dataHost name="db_storeHOST" slaveThreshold="100" switchType="1" dbDriver="native" dbType="mysql" writeType="0" balance="1" minCon="10" maxCon="1000"><heartbeat>select user()</heartbeat><!-- can have multi write hosts --><writeHost password="123456" user="root" url="192.168.8.137:3306" host="hostM1"><!-- can have multi read hosts --><readHost password="123456" user="root" url="192.168.8.101:3306" host="hostS1"/></writeHost></dataHost><!-- 配置db_user的节点主机 --><dataHost name="db_userHOST1" slaveThreshold="100" switchType="1" dbDriver="native" dbType="mysql" writeType="0" balance="0" minCon="10" maxCon="1000"><heartbeat>select user()</heartbeat><writeHost password="123456" user="root" url="192.168.8.137:3306" host="userHost1"> </writeHost></dataHost><dataHost name="db_userHOST2" slaveThreshold="100" switchType="1" dbDriver="native" dbType="mysql" writeType="0" balance="0" minCon="10" maxCon="1000"><heartbeat>select user()</heartbeat><!-- can have multi write hosts --><writeHost password="123456" user="root" url="192.168.8.101:3306" host="userHost2"> </writeHost></dataHost>
  • rule.xml - 分片规则的配置文件
 <?xml version="1.0" encoding="UTF-8"?><mycat:rule xmlns:mycat="http://io.mycat/"><tableRule name="rule1"><rule><columns>id</columns><algorithm>func1</algorithm></rule></tableRule><tableRule name="rule2"><rule><columns>user_id</columns><algorithm>func1</algorithm></rule></tableRule><tableRule name="sharding-by-intfile"><rule><columns>sharding_id</columns><algorithm>hash-int</algorithm></rule></tableRule><tableRule name="auto-sharding-long"><rule><columns>id</columns><algorithm>rang-long</algorithm></rule></tableRule><tableRule name="mod-long"><rule><columns>id</columns><algorithm>mod-long</algorithm></rule></tableRule><tableRule name="mod-userID-long"><rule><columns>userID</columns><algorithm>mod-long</algorithm></rule></tableRule><tableRule name="sharding-by-murmur"><rule><columns>id</columns><algorithm>murmur</algorithm></rule></tableRule><tableRule name="crc32slot"><rule><columns>id</columns><algorithm>crc32slot</algorithm></rule></tableRule><tableRule name="sharding-by-month"><rule><columns>create_time</columns><algorithm>partbymonth</algorithm></rule></tableRule><tableRule name="latest-month-calldate"><rule><columns>calldate</columns><algorithm>latestMonth</algorithm></rule></tableRule><tableRule name="auto-sharding-rang-mod"><rule><columns>id</columns><algorithm>rang-mod</algorithm></rule></tableRule><tableRule name="jch"><rule><columns>id</columns><algorithm>jump-consistent-hash</algorithm></rule></tableRule><function name="mod-long" class="io.mycat.route.function.PartitionByMod"><!-- how many data nodes --><property name="count">2</property></function><function name="murmur" class="io.myc+.....+tion.PartitionByMurmurHash"><property name="seed">0</property><!-- 默认是0 --><property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 --><property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 --><!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 --><!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西 --></function><function name="crc32slot" class="io.m+.....+tion.PartitionByCRC32PreSlot"><property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 --></function><function name="hash-int" class="io.myc+....+ction.PartitionByFileMap"><property name="mapFile">partition-hash-int.txt</property></function><function name="rang-long" class="io.m+....+tion.AutoPartitionByLong"><property name="mapFile">autopartition-long.txt</property></function><function name="func1" class="io.mycat.route.function.PartitionByLong"><property name="partitionCount">8</property><property name="partitionLength">128</property></function><function name="latestMonth" class="io.m+....+tion.LatestMonthPartion"><property name="splitOneDay">24</property></function><function name="partbymonth" class="io.m+....+ction.PartitionByMonth"><property name="dateFormat">yyyy-MM-dd</property><property name="sBeginDate">2015-01-01</property></function><function name="rang-mod" class="io.m+....+ction.PartitionByRangeMod"><property name="mapFile">partition-range-mod.txt</property></function><function name="jump-consistent-has+..+.PartitionByJumpConsistentHash"><property name="totalBuckets">3</property></function></mycat:rule>
    • log4j2.xml - 配置logs目录日志输出规则
    • wrapper.conf - JVM相关参数设置

  • /lib - 主要存放 mycat 依赖的一些 jar 文件

  • /logs - 存放日志文件

分片处理

连续分片
  • 实例
          根据日期范围分片
          根据数字范围分片
  • 优点
          扩容无须迁移数据
          范围条件查询资源消耗少
  • 缺点
          数据热点问题
          并发能力受限于分片节点
离散分片
  • 实例
          枚举分片
          数字取模分片(如本文分析的Mycat部署例图)
          字符串Hash分片
  • 优点
          数据分布均匀
          并发能力强不受分片节点限制
  • 缺点
          移植性差-扩容难
综合分片

将连续分片与离散分片结合使用

  • 实例
          范围求模分片
          取模范围分片

全局序列处理

      由于我们通过Mycat对原有数据进行了分库分表的操作,那么对每条数据的全局唯一标识就是一个需要解决的问题,关于全局序列的处理Mycat为我们提供了以下三种方式:

  • 本地文件方式
          步骤
    sequenceHandlerType=0
    配置sequence_db_conf.properties
    使用next value for MYCATSEQ_XXX
          问题
    无法持久化,Mycat重启就会丢失

  • 数据库自动生成方式
          步骤
    sequenceHandlerType=1
    配置sequence_db_conf.properties
    使用next value for MYCATSEQ_XXX
    指定autoIncrement
          问题
    多线程,两个表之间会串号

  • 本地时间戳
          步骤
    ID=64位 二进制(42毫秒+5机器ID+5业务编码+12重复累加)
    sequenceHandlerType=2
    配置sequence_db_conf.properties
    指定autoIncrement

小结

      在项目应用中Mycat的管理还提供了-弱XA事务机制-节点扩缩容量-数据快速移植等功能的支持,以上是我对Mycat的整理笔记,还有很多需要完善,将与Mycat开发组一同前行学习,荣幸与您分享~

这篇关于Mycat使用与部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/981659。

相关文章

gitlab安装及邮箱配置和常用使用方式

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》：本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的
阅读更多...
SpringBoot3应用中集成和使用Spring Retry的实践记录

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项
阅读更多...
nginx启动命令和默认配置文件的使用

nginx启动命令和默认配置文件的使用

《nginx启动命令和默认配置文件的使用》：本文主要介绍nginx启动命令和默认配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录常见命令nginx.conf配置文件location匹配规则图片服务器总结常见命令# 默认配置文件启动./nginx
阅读更多...
在Windows上使用qemu安装ubuntu24.04服务器的详细指南

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程：安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4
阅读更多...
使用Python和OpenCV库实现实时颜色识别系统

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》：本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色（红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解
阅读更多...
Windows下C++使用SQLitede的操作过程

Windows下C++使用SQLitede的操作过程

《Windows下C++使用SQLitede的操作过程》本文介绍了Windows下C++使用SQLite的安装配置、CppSQLite库封装优势、核心功能（如数据库连接、事务管理）、跨平台支持及性能优... 目录Windows下C++使用SQLite1、安装2、代码示例CppSQLite：C++轻松操作SQ
阅读更多...
Python常用命令提示符使用方法详解

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,：本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安
阅读更多...
Python并行处理实战之如何使用ProcessPoolExecutor加速计算

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.
阅读更多...
Python中help()和dir()函数的使用

Python中help()和dir()函数的使用

《Python中help()和dir()函数的使用》我们经常需要查看某个对象（如模块、类、函数等）的属性和方法,Python提供了两个内置函数help()和dir(),它们可以帮助我们快速了解代... 目录1. 引言2. help() 函数2.1 作用2.2 使用方法2.3 示例(1) 查看内置函数的帮助(
阅读更多...
Linux脚本(shell)的使用方式

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》：本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量：定义、赋值自定义变量：引用、修改、删
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2