雪花算法(Snowflake)介绍和Java实现

2024-01-01 07:44

本文主要是介绍雪花算法(Snowflake)介绍和Java实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、雪花算法介绍

(1) 雪花算法(SnowFlake)是分布式微服务下生成全局唯一ID,并且可以做到去中心化的常用算法,最早是Twitter公司在其内部的分布式环境下生成ID的方式。 雪花算法的名字可以这么理解,世界上没有两片完全相同的雪花,而雪花算法希望自己生成的ID是独一无二的。

去中心化可以理解成不需要依赖某一个中间件,比如可以用Redis来生成全局唯一的ID,但Redis此时就属于中心,同时还会需要依赖网络。 而雪花算法通过10位bit的本地标识实现去中心化。

(2) 雪花算法生成的ID特点

  • 64bit位的正整数,即java中的long类型;
  • 整体结构是有序的。

(3) 64个bit位

  • 最高位:0, 代表是 一个正整数;
  • 41位:存储毫秒级的时间戳,在java中可以使用 System.currentMillons()获取,并且保证了自增特性;
  • 10位:存储机房/机器/操作系统/容器/服务的ID;
  • 12位:存储一个自增的序列。

说明:雪花算法内部的bit位数可以进行微调,比如5位机器id和5位服务id组合成10位。

2、Java方式实现雪花算法

(1)整体实现逻辑

64个bit位的long类型的值

第一位:占 1 个bit位,就是0

第二位:占 41 个bit位, 代表时间戳

第三位:占 5 个bit位, 代表机器id (这里将 10 bit 位 做了调整)

第四位:占 5 个bit位,服务id

第五位:占 12 个bit位, 自增序列

(2) 具备知识

  • java实现bit位移运算以及异或运算,用于计算固定bit位代表的最大数值,以及将bit位移动到固定位置。

例如:java中41个bit位的最大数值

long max41Bit = (1L << 41) - 1; // 41 bit 位 可以表示的最大数值 2的42次方减1, 即 1往左移41位减1

(3) 核心逻辑

  1. 先是定义5个位数对应的变量, 以及对应的偏移量,因为需要通过偏移后变量的bit位才能到达固定的位置;
  2. 再是计算自定义的机器id和服务id的最大值,用于严谨校验;
  3. 分别拿到对应的值,然后做位移运算;
  4. 做位移运算时的时间戳不从1900-01-01开始算起,因为41bit位的时间戳大概可用70年。

逻辑难点:在同一毫秒生成多个ID时,当前时间戳 与 自增序列的关系

  1. 拿到当前系统的毫秒值,记录生成上一个ID的毫秒值;
  2. 如果是同一毫秒生成ID,则自增序列递增(递增时要注意不能超出递增序列允许的最大值,超出需要等待下一毫秒);不同毫秒自增序列还原为初始值;
  3. 对于时针回拨问题,需要注意将当前的时间戳与生成的上一个ID的时间戳进行比较。

(4) Java代码具体实现


import org.springframework.beans.factory.annotation.Value;
import javax.annotation.PostConstruct;/*** 雪花算法生成全局唯一的ID* 64个bit位的long类型的值* 第一位:占 1 个bit位,就是0* 第二位:占 41 个bit位, 代表时间戳* 第三位:占 5 个bit位, 代表机器id (这里将 10 bit 位 做了调整)* 第四位:占 5 个bit位,服务id* 第五位:占 12 个bit位, 自增序列*/
public class SnowFlakeUtil {/*** 41 个bit位存储时间戳, 从0开始计算, 最多可以存储 69.7年。* 如果从默认使用, 从1970年到现在,最多可以用到2040年。* 按照从 2023-12-28号开始计算,存储41个bit位, 最多可以使用到2093年*/private long timeStart = 1703692800000L;/*** 机器id, 通过yml配置的方式声明*/@Value("${snowflake.machineId:0}")private long machineId = 0;/*** 服务id, 通过yml配置的方式声明*/@Value("${snowflake.serviceId:0}")private long serviceId = 0;/*** 自增序列*/private long sequence;// 需要做机器id和服务id的兼容性校验, 不能超过了5位的最大值/*** 机器id占用的bit位数*/private long machineIdBits = 5L;/*** 服务id占用的bit位数*/private long serviceIdBits = 5L;/*** 序列占用的bit位数*/private long sequenceBits = 12L;/*** 计算出机器id的最大值 -1 往左移 machineIdBits 位, 再做亦或运算*/private long maxMachineId = -1 ^ (-1 << machineIdBits); // -1 往左移 machineIdBits 位, 再做亦或运算// 11111111 11111111 11111111 11111111 11111111// 11111111 11111111 11111111 11111111 11100000// 00000000 00000000 00000000 00000000 00011111/*** 计算出服务id的最大值*/private long maxServiceId = -1 ^ (-1 << serviceIdBits);/*** 校验 机器id 和 服务id 是否超过最大范围值*/@PostConstructpublic void init() {if (machineId > maxMachineId || serviceId > maxServiceId) {System.out.println("机器id或服务id超过最大范围值");}}/*** 服务id需要位移的位数, 即从右侧开始, 将数字左移 sequenceBits 到固定的位置*/private long serviceIdShift = sequenceBits;/*** 机器id需要位移的位数, 即从右侧开始, 将数字左移 sequenceBits + serviceIdBits  到固定的位置*/private long machineIdShift = sequenceBits + serviceIdBits;/*** 时间戳需要位移的位数, 即从右侧开始, 将数字左移 sequenceBits + serviceIdBits + machineIdBits 到固定的位置*/private long timestampShift = sequenceBits + serviceIdBits + machineIdBits;/*** 序列的最大值 -1 往左移 sequenceBits 位, 再做亦或运算*/private long maxSequenceId = -1 ^ (-1 << sequenceBits);/*** 记录最近一次获取id的时间*/private long lastTimestamp = -1;/*** 拿到当前系统时间的毫秒值** @return*/private long timeGen() {return System.currentTimeMillis();}/*** 生成全局唯一id* 因为有很多服务调用这个方法, 所以需要加sychronized锁*/public synchronized long nextId() {//1. 拿到当前系统时间的毫秒值long timestamp = timeGen();// 避免时间回拨造成出现重复的idif (timestamp < lastTimestamp) {// 说明出现了时间回拨System.out.println("当前服务出现时间回拨");}//2. 41个bit的时间知道了存什么了, 但是序列也需要计算一下。 如果是同一毫秒,序列就需要 还原 或者 ++// 判读当前生成的id的时间 和 上一次生成的时间if (timestamp == lastTimestamp) {// 同一毫秒值生成idsequence = (sequence + 1) & maxSequenceId; // 加1最大值进行与运算, 结果是如果超过了maxSequenceId则为0, 小于则不变if (sequence == 0) {// 进到这个if,说明已经超出了sequence序列的最大取值范围// 需要等到下一个毫秒值再回来生成具体的值timestamp = timeGen();// 写 <= 而不 写 == 是为了避免出现时间回拨的问题while (timestamp <= lastTimestamp) {// 时间还没动timestamp = timeGen();}}} else {// 另一个时间点生成idsequence = 0;}//3. 重新给 lastTimestamp 赋值lastTimestamp = timestamp;//4. 计算id,将几位值拼接起来, 41bit位的时间, 5位的机器, 5位的服务, 12位的序列return ((timestamp - timeStart) << timestampShift) | // 相减的差值 往左移  timestampShift(machineId << machineIdShift) |  // machineId 往左移  machineIdShift(serviceId << serviceIdShift) |  // serviceId 往左移  serviceIdShiftsequence &Long.MAX_VALUE;}
}

这篇关于雪花算法(Snowflake)介绍和Java实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/558561

相关文章

MySQL常用字符串函数示例和场景介绍

《MySQL常用字符串函数示例和场景介绍》MySQL提供了丰富的字符串函数帮助我们高效地对字符串进行处理、转换和分析,本文我将全面且深入地介绍MySQL常用的字符串函数,并结合具体示例和场景,帮你熟练... 目录一、字符串函数概述1.1 字符串函数的作用1.2 字符串函数分类二、字符串长度与统计函数2.1

Redis客户端连接机制的实现方案

《Redis客户端连接机制的实现方案》本文主要介绍了Redis客户端连接机制的实现方案,包括事件驱动模型、非阻塞I/O处理、连接池应用及配置优化,具有一定的参考价值,感兴趣的可以了解一下... 目录1. Redis连接模型概述2. 连接建立过程详解2.1 连php接初始化流程2.2 关键配置参数3. 最大连

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Apache Ignite 与 Spring Boot 集成详细指南

《ApacheIgnite与SpringBoot集成详细指南》ApacheIgnite官方指南详解如何通过SpringBootStarter扩展实现自动配置,支持厚/轻客户端模式,简化Ign... 目录 一、背景:为什么需要这个集成? 二、两种集成方式(对应两种客户端模型) 三、方式一:自动配置 Thick

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略,其核心思想是在价格上下预设多个“网格”,当价格触发特定网格时执行买

Spring WebClient从入门到精通

《SpringWebClient从入门到精通》本文详解SpringWebClient非阻塞响应式特性及优势,涵盖核心API、实战应用与性能优化,对比RestTemplate,为微服务通信提供高效解决... 目录一、WebClient 概述1.1 为什么选择 WebClient?1.2 WebClient 与

Java.lang.InterruptedException被中止异常的原因及解决方案

《Java.lang.InterruptedException被中止异常的原因及解决方案》Java.lang.InterruptedException是线程被中断时抛出的异常,用于协作停止执行,常见于... 目录报错问题报错原因解决方法Java.lang.InterruptedException 是 Jav

深入浅出SpringBoot WebSocket构建实时应用全面指南

《深入浅出SpringBootWebSocket构建实时应用全面指南》WebSocket是一种在单个TCP连接上进行全双工通信的协议,这篇文章主要为大家详细介绍了SpringBoot如何集成WebS... 目录前言为什么需要 WebSocketWebSocket 是什么Spring Boot 如何简化 We

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

Java Stream流之GroupBy的用法及应用场景

《JavaStream流之GroupBy的用法及应用场景》本教程将详细介绍如何在Java中使用Stream流的groupby方法,包括基本用法和一些常见的实际应用场景,感兴趣的朋友一起看看吧... 目录Java Stream流之GroupBy的用法1. 前言2. 基础概念什么是 GroupBy?Stream