全局唯一ID生成常见的几种方式和twitter/snowflake(雪花算法)解析

本文主要是介绍全局唯一ID生成常见的几种方式和twitter/snowflake(雪花算法)解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

全局唯一ID生成常见的几种方式和twitter/snowflake(雪花算法)解析 

全局唯一ID生成常见的几种方式:

1,(twitter/snowflake)雪花算法

2,利用数据库的auto_increment特性

3,UUID

4,其他(如redis也有incr,redis加lua脚本实现twitter/snowflake算法)

 

一、 (twitter/snowflake)

使用了long类型,long类型为8字节工64位。可表示的最大值位2^64-1(18446744073709551615,装换成十进制共20位的长度,这个是无符号的长整型的最大值)。

单常见使用的是long 不是usign long所以最大值为2^63-1(9223372036854775807,装换成十进制共19的长度,这个是long的长整型的最大值)

下面程序来自大象博客:

http://www.blogjava.net/bolo/archive/2015/07/13/426200.html


public class IdGen {private long workerId;private long datacenterId;private long sequence = 0L;private long twepoch = 1288834974657L;//Thu, 04 Nov 2010 01:42:54 GMTprivate long workerIdBits = 5L;//节点ID长度private long datacenterIdBits = 5L;//数据中心ID长度private long maxWorkerId = -1L ^ (-1L << workerIdBits);//最大支持机器节点数0~31,一共32个private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);//最大支持数据中心节点数0~31,一共32个private long sequenceBits = 12L;//序列号12位private long workerIdShift = sequenceBits;//机器节点左移12位private long datacenterIdShift = sequenceBits + workerIdBits;//数据中心节点左移17位private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;//时间毫秒数左移22位private long sequenceMask = -1L ^ (-1L << sequenceBits);//最大为4095private long lastTimestamp = -1L;private static class IdGenHolder {private static final IdGen instance = new IdGen();}public static IdGen get(){return IdGenHolder.instance;}public IdGen() {this(0L, 0L);}public IdGen(long workerId, long datacenterId) {if (workerId > maxWorkerId || workerId < 0) {throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));}if (datacenterId > maxDatacenterId || datacenterId < 0) {throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));}this.workerId = workerId;this.datacenterId = datacenterId;}public synchronized long nextId() {long timestamp = timeGen();//获取当前毫秒数//如果服务器时间有问题(时钟后退) 报错。if (timestamp < lastTimestamp) {throw new RuntimeException(String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));}//如果上次生成时间和当前时间相同,在同一毫秒内if (lastTimestamp == timestamp) {//sequence自增,因为sequence只有12bit,所以和sequenceMask相与一下,去掉高位sequence = (sequence + 1) & sequenceMask;//判断是否溢出,也就是每毫秒内超过4095,当为4096时,与sequenceMask相与,sequence就等于0if (sequence == 0) {timestamp = tilNextMillis(lastTimestamp);//自旋等待到下一毫秒}} else {sequence = 0L;//如果和上次生成时间不同,重置sequence,就是下一毫秒开始,sequence计数重新从0开始累加}lastTimestamp = timestamp;// 最后按照规则拼出ID。// 000000000000000000000000000000000000000000  00000            00000       000000000000// time                                      datacenterId      workerId     sequence// return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift)//        | (workerId << workerIdShift) | sequence;long longStr= ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift) | (workerId << workerIdShift) | sequence;// System.out.println(longStr);return longStr;}protected long tilNextMillis(long lastTimestamp) {long timestamp = timeGen();while (timestamp <= lastTimestamp) {timestamp = timeGen();}return timestamp;}protected long timeGen() {return System.currentTimeMillis();}}

测试程序

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.Callable;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;import org.junit.Test;public class GeneratorTest {@Testpublic void testIdGenerator() {long avg = 0;for (int k = 0; k < 10; k++) {List<Callable<Long>> partitions = new ArrayList<Callable<Long>>();final IdGen idGen = IdGen.get();for (int i = 0; i < 1400000; i++) {partitions.add(new Callable<Long>() {@Overridepublic Long call() throws Exception {return idGen.nextId();}});}ExecutorService executorPool = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors());try {long s = System.currentTimeMillis();executorPool.invokeAll(partitions, 10000, TimeUnit.SECONDS);long s_avg = System.currentTimeMillis() - s;avg += s_avg;System.out.println("完成时间需要: " + s_avg / 1.0e3 + "秒");executorPool.shutdown();} catch (Exception e) {e.printStackTrace();}}System.out.println("平均完成时间需要: " + avg / 10 / 1.0e3 + "秒");}}

我们生产也是按照这个twitter/snowflake的算法来写的。

 

二、 利用auto_increment特性

insert into

replace into 

 

三、 UUID

常见的方式。可以利用数据库也可以利用程序生成,一般来说全球唯一。

优点:

1)简单,代码方便。

2)生成ID性能非常好,基本不会有性能问题。

3)全球唯一,在遇见数据迁移,系统数据合并,或者数据库变更等情况下,可以从容应对。

缺点:

1)没有排序,无法保证趋势递增。

2)UUID往往是使用字符串存储,查询的效率比较低。

3)存储空间比较大,如果是海量数据库,就需要考虑存储量的问题。

4)传输数据量大

5)不可读。

变种的UUID

1)为了解决UUID不可读,可以使用UUID to Int64的方法。

2)为了解决UUID无序的问题,NHibernate在其主键生成方式中提供了Comb算法(combined guid/timestamp)。保留GUID的10个字节,用另6个字节表示GUID生成的时间(DateTime)。

 

四、 其他

如:1,redis的incr 和INCRBY来实现可以实现自增。 2,redis-lua脚本实现twitter/snowflake算法。3,MongoDB的ObjectId。

这篇关于全局唯一ID生成常见的几种方式和twitter/snowflake(雪花算法)解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/987543

相关文章

Java 关键字transient与注解@Transient的区别用途解析

《Java关键字transient与注解@Transient的区别用途解析》在Java中,transient是一个关键字,用于声明一个字段不会被序列化,这篇文章给大家介绍了Java关键字transi... 在Java中,transient 是一个关键字,用于声明一个字段不会被序列化。当一个对象被序列化时,被

golang float和科学计数法转字符串的实现方式

《golangfloat和科学计数法转字符串的实现方式》:本文主要介绍golangfloat和科学计数法转字符串的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望... 目录golang float和科学计数法转字符串需要对float转字符串做处理总结golang float

linux lvm快照的正确mount挂载实现方式

《linuxlvm快照的正确mount挂载实现方式》:本文主要介绍linuxlvm快照的正确mount挂载实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux lvm快照的正确mount挂载1. 检查快照是否正确创建www.chinasem.cn2.

SpringBoot项目Web拦截器使用的多种方式

《SpringBoot项目Web拦截器使用的多种方式》在SpringBoot应用中,Web拦截器(Interceptor)是一种用于在请求处理的不同阶段执行自定义逻辑的机制,下面给大家介绍Sprin... 目录一、实现 HandlerInterceptor 接口1、创建HandlerInterceptor实

查看MySql主从同步的偏移量方式

《查看MySql主从同步的偏移量方式》:本文主要介绍查看MySql主从同步的偏移量方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 1.mysql的主从同步方案mysqlphp为了在实现读写分离,主库写,从库读mysql的同步方案主要是通过从库读取主库的binl

Go语言中使用JWT进行身份验证的几种方式

《Go语言中使用JWT进行身份验证的几种方式》本文主要介绍了Go语言中使用JWT进行身份验证的几种方式,包括dgrijalva/jwt-go、golang-jwt/jwt、lestrrat-go/jw... 目录简介1. github.com/dgrijalva/jwt-go安装:使用示例:解释:2. gi

MybatisX快速生成增删改查的方法示例

《MybatisX快速生成增删改查的方法示例》MybatisX是基于IDEA的MyBatis/MyBatis-Plus开发插件,本文主要介绍了MybatisX快速生成增删改查的方法示例,文中通过示例代... 目录1 安装2 基本功能2.1 XML跳转2.2 代码生成2.2.1 生成.xml中的sql语句头2

Java JSQLParser解析SQL的使用指南

《JavaJSQLParser解析SQL的使用指南》JSQLParser是一个Java语言的SQL语句解析工具,可以将SQL语句解析成为Java类的层次结构,还支持改写SQL,下面我们就来看看它的具... 目录一、引言二、jsQLParser常见类2.1 Class Diagram2.2 Statement

Linux给磁盘扩容(LVM方式)的方法实现

《Linux给磁盘扩容(LVM方式)的方法实现》本文主要介绍了Linux给磁盘扩容(LVM方式)的方法实现,涵盖PV/VG/LV概念及操作步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录1 概念2 实战2.1 相关基础命令2.2 开始给LVM扩容2.3 总结最近测试性能,在本地打数据时,发现磁盘空

IDEA实现回退提交的git代码(四种常见场景)

《IDEA实现回退提交的git代码(四种常见场景)》:本文主要介绍IDEA实现回退提交的git代码(四种常见场景),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.已提交commit,还未push到远端(Undo Commit)2.已提交commit并push到