多机分布式系统ID的问题与处理

2024-06-05 18:08

本文主要是介绍多机分布式系统ID的问题与处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

起因

当数据库有单个数据库转变为水平分库,原来单个系统中的ID(Sequence)以及自增id的做法需要改变
我们主要需要解决下面的两个问题:

  • 唯一性
  • 连续性

问题与处理

  • 当我们只考虑id的唯一性的问题的时候,我们可以使用UUID等方式来自动生成,虽然这样生成的id保证了唯一性,但是在分布式系统中的连续性是一个巨大的问题

  • 进而,我们可以想到,我们可以将所有id都存放在一个地方进行集中分类管理,分布式系统中的每台单独机器使用id时都从这个id生产器中去取,这里有如下几个关键问题需要解决

    • 性能问题。每次远程取id都会存在资源消耗,一种方案是一次取一段id,然后缓存到本地,这样就不需要每次都去远程的id生成器上取id了。但是如果一旦发生宕机,那么一些id就会被浪费了。
    • 生成器的稳定性问题。id生成器作为一个无状态的集群存在,其可用性要靠整个集群来保证
    • 存储的问题。底层存储的选择空间比较大,需要根据不同类型进行对应的容灾方案。下面介绍两种方式

      • 第一种,在底层使用一个独立的存储来记录每个id序列当前的最大值,并控制并发更新,这样以来id生成器的逻辑就很简单了
        这里写图片描述

      • 第二种,直接把id生成器舍去,把相关的逻辑放到需要生成id的应用本身,就行了。即我们上述所说的,读取可用的id或者id段,然后给应用的请求使用,如图
        这里写图片描述

不过因为第二种方式没有中心的控制点,并且我们不希望生成器之间还有通信(这回使得系统非常复杂),因此数据的id并不是严格的按照进入数据库的顺序而增大的。在管理上也需要有额外的功能,这些是需要权衡的地方

参考 大型网站系统与Java中间件实践

这篇关于多机分布式系统ID的问题与处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1033788

相关文章

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Spring Boot @RestControllerAdvice全局异常处理最佳实践

《SpringBoot@RestControllerAdvice全局异常处理最佳实践》本文详解SpringBoot中通过@RestControllerAdvice实现全局异常处理,强调代码复用、统... 目录前言一、为什么要使用全局异常处理?二、核心注解解析1. @RestControllerAdvice2

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言:为什么会有索引键长度问题?一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决

Springboot如何正确使用AOP问题

《Springboot如何正确使用AOP问题》:本文主要介绍Springboot如何正确使用AOP问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录​一、AOP概念二、切点表达式​execution表达式案例三、AOP通知四、springboot中使用AOP导出

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到

解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题

《解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题》:本文主要介绍解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4... 目录未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘打开pom.XM

IDEA Maven提示:未解析的依赖项的问题及解决

《IDEAMaven提示:未解析的依赖项的问题及解决》:本文主要介绍IDEAMaven提示:未解析的依赖项的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录IDEA Maven提示:未解析的依编程赖项例如总结IDEA Maven提示:未解析的依赖项例如