Redis 源码分析(二) 一个 rehash 也不阻塞的哈希表

2024-08-22 09:38

本文主要是介绍Redis 源码分析(二) 一个 rehash 也不阻塞的哈希表,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis 的架构设计挺巧妙的,舍弃了主流的多线程架构,别出心裁的使用单线程架构,说实话,作为一个 kv,我一开始认为多线程并行的访问应该是一个默认选项,但是 Redis 的高效,用事实证明,这显然不是。这个单线程的事件系统另开一坑再聊吧,今天主要是看一下这个有趣的哈希表。

typedef struct dict {dictType *type;void *privdata;dictht ht[2];int rehashidx; /* rehashing not in progress if rehashidx == -1 */int iterators; /* number of iterators currently running */
} dict;

这就是 Redis 里面存哈希表的数据结构,真正的哈希表是哪个 dictht,dictht[0] 是一个哈希表,dictht[1] 是另一个哈希表。这里两个哈希表的设计主要是为了完成一个操作—— rehash,并且是不阻塞的 rehash。
哈希表中最耗时的操作就是 rehash 了,作为一个单线程生物,Redis 不会另外开一个线程去搞这个事情,增删改查还有 rehash 都在一个线程里跑,那么如何能让 rehash 的过程不影响其他的操作呢?
我们来随便找一个哈希表的操作函数,就拿哈希表的查找函数来讲吧

dictEntry *dictFind(dict *d, const void *key)
{dictEntry *he;unsigned int h, idx, table;if (d->ht[0].size == 0) return NULL; /* We don't have a table at all */if (dictIsRehashing(d)) _dictRehashStep(d);// 注意h = dictHashKey(d, key);for (table = 0; table <= 1; table++) {idx = h & d->ht[table].sizemask;he = d->ht[table].table[idx];while(he) {if (dictCompareHashKeys(d, key, he->key))return he;he = he->next;}if (!dictIsRehashing(d)) return NULL;}return NULL;
}

如果你看了我上一篇文章的话,这个函数应该已经见过了,同样不需要看整个函数,只需要看我标注的地方就好了,就一行,意思呢,很明白,这个哈希表是不是在 rehash 呀?如果是的话执行 _dictRehashStep 这个函数(开头加了个 _ 这个符号,假装私有函数。。)这个函数是什么意思呢?

static void _dictRehashStep(dict *d) {if (d->iterators == 0) dictRehash(d,1);
}

里面那个 dictRehash 是执行 rehash 的地方,直接进来

int dictRehash(dict *d, int n) {if (!dictIsRehashing(d)) return 0;while(n--) {dictEntry *de, *nextde;/* Check if we already rehashed the whole table... */if (d->ht[0].used == 0) {_dictFree(d->ht[0].table);d->ht[0] = d->ht[1];_dictReset(&d->ht[1]);d->rehashidx = -1;return 0;}/* Note that rehashidx can't overflow as we are sure there are more* elements because ht[0].used != 0 */while(d->ht[0].table[d->rehashidx] == NULL) d->rehashidx++;de = d->ht[0].table[d->rehashidx];/* Move all the keys in this bucket from the old to the new hash HT 简单说就是找到我们该搬的桶,搬空它,然后结束战斗,就只搬一个桶*/while(de) {unsigned int h;nextde = de->next;/* Get the index in the new hash table */h = dictHashKey(d, de->key) & d->ht[1].sizemask;de->next = d->ht[1].table[h];d->ht[1].table[h] = de;d->ht[0].used--;d->ht[1].used++;de = nextde;}d->ht[0].table[d->rehashidx] = NULL;d->rehashidx++;}return 1;
}

上文代码中的中文应该很引人注目(因为代码还是不如人话好懂啊~),这里这个函数就是找到这个哈希表中需要被搬运的第一个桶,然后把这个桶里面的所有项一个个重新哈希一下,搬到第二个哈希表中,就是从 dictht 中的 ht[0] 搬运到 ht[1],然后结束之后,指针交换一下就可以了呀。
既然了解了这个搬运工函数的作用,我们来看一下哪些部分调用了这个函数呢?
dictAdd
dictFind
dictGenericDelete
增删改查(改是先删再add)里面都用到了呀,也就是在线上不停的增删改查中不知不觉就 rehash 完了,一个 O(n) 的操作就这样变成了均摊 O(1) 的,当然不会阻塞啦。
Redis 是一个在线服务,其数据结构也是根据这个特性来设计的,把一个大的操作均摊到每个细小的操作中来降低算法复杂度,这种思想并不罕见,比如带懒惰标记的线段树,伸展树,STL 中的 vector 也是均摊的来算复杂度,这种方法虽然有点耍赖皮,但是相当实用啊。
下一讲来讲 Redis 的事件系统吧,这个系统一方面使得 Redis 效率极高,另一方面也降低了很多的编码复杂度,也是一个精妙的设计。

这篇关于Redis 源码分析(二) 一个 rehash 也不阻塞的哈希表的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1095904

相关文章

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

python中Hash使用场景分析

《python中Hash使用场景分析》Python的hash()函数用于获取对象哈希值,常用于字典和集合,不可变类型可哈希,可变类型不可,常见算法包括除法、乘法、平方取中和随机数哈希,各有优缺点,需根... 目录python中的 Hash除法哈希算法乘法哈希算法平方取中法随机数哈希算法小结在Python中,

Java Stream的distinct去重原理分析

《JavaStream的distinct去重原理分析》Javastream中的distinct方法用于去除流中的重复元素,它返回一个包含过滤后唯一元素的新流,该方法会根据元素的hashcode和eq... 目录一、distinct 的基础用法与核心特性二、distinct 的底层实现原理1. 顺序流中的去重

Redis的持久化之RDB和AOF机制详解

《Redis的持久化之RDB和AOF机制详解》:本文主要介绍Redis的持久化之RDB和AOF机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述RDB(Redis Database)核心原理触发方式手动触发自动触发AOF(Append-Only File)核

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》:本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de

SpringBoot+Redis防止接口重复提交问题

《SpringBoot+Redis防止接口重复提交问题》:本文主要介绍SpringBoot+Redis防止接口重复提交问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录前言实现思路代码示例测试总结前言在项目的使用使用过程中,经常会出现某些操作在短时间内频繁提交。例