漫话Redis源码之一百零二

2024-02-06 09:32

本文主要是介绍漫话Redis源码之一百零二,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本模块主要实现defrag回调机制,可以细看一下,还挺巧妙的:

/* A module that implements defrag callback mechanisms.*/#define REDISMODULE_EXPERIMENTAL_API
#include "redismodule.h"static RedisModuleType *FragType;struct FragObject {unsigned long len;void **values;int maxstep;
};/* Make sure we get the expected cursor */
unsigned long int last_set_cursor = 0;unsigned long int datatype_attempts = 0;
unsigned long int datatype_defragged = 0;
unsigned long int datatype_resumes = 0;
unsigned long int datatype_wrong_cursor = 0;
unsigned long int global_attempts = 0;
unsigned long int global_defragged = 0;int global_strings_len = 0;
RedisModuleString **global_strings = NULL;static void createGlobalStrings(RedisModuleCtx *ctx, int count)
{global_strings_len = count;global_strings = RedisModule_Alloc(sizeof(RedisModuleString *) * count);for (int i = 0; i < count; i++) {global_strings[i] = RedisModule_CreateStringFromLongLong(ctx, i);}
}static int defragGlobalStrings(RedisModuleDefragCtx *ctx)
{for (int i = 0; i < global_strings_len; i++) {RedisModuleString *new = RedisModule_DefragRedisModuleString(ctx, global_strings[i]);global_attempts++;if (new != NULL) {global_strings[i] = new;global_defragged++;}}return 0;
}static void FragInfo(RedisModuleInfoCtx *ctx, int for_crash_report) {REDISMODULE_NOT_USED(for_crash_report);RedisModule_InfoAddSection(ctx, "stats");RedisModule_InfoAddFieldLongLong(ctx, "datatype_attempts", datatype_attempts);RedisModule_InfoAddFieldLongLong(ctx, "datatype_defragged", datatype_defragged);RedisModule_InfoAddFieldLongLong(ctx, "datatype_resumes", datatype_resumes);RedisModule_InfoAddFieldLongLong(ctx, "datatype_wrong_cursor", datatype_wrong_cursor);RedisModule_InfoAddFieldLongLong(ctx, "global_attempts", global_attempts);RedisModule_InfoAddFieldLongLong(ctx, "global_defragged", global_defragged);
}struct FragObject *createFragObject(unsigned long len, unsigned long size, int maxstep) {struct FragObject *o = RedisModule_Alloc(sizeof(*o));o->len = len;o->values = RedisModule_Alloc(sizeof(RedisModuleString*) * len);o->maxstep = maxstep;for (unsigned long i = 0; i < len; i++) {o->values[i] = RedisModule_Calloc(1, size);}return o;
}/* FRAG.RESETSTATS */
static int fragResetStatsCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {REDISMODULE_NOT_USED(argv);REDISMODULE_NOT_USED(argc);datatype_attempts = 0;datatype_defragged = 0;datatype_resumes = 0;datatype_wrong_cursor = 0;global_attempts = 0;global_defragged = 0;RedisModule_ReplyWithSimpleString(ctx, "OK");return REDISMODULE_OK;
}/* FRAG.CREATE key len size maxstep */
static int fragCreateCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {if (argc != 5)return RedisModule_WrongArity(ctx);RedisModuleKey *key = RedisModule_OpenKey(ctx,argv[1],REDISMODULE_READ|REDISMODULE_WRITE);int type = RedisModule_KeyType(key);if (type != REDISMODULE_KEYTYPE_EMPTY){return RedisModule_ReplyWithError(ctx, "ERR key exists");}long long len;if ((RedisModule_StringToLongLong(argv[2], &len) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid len");}long long size;if ((RedisModule_StringToLongLong(argv[3], &size) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid size");}long long maxstep;if ((RedisModule_StringToLongLong(argv[4], &maxstep) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid maxstep");}struct FragObject *o = createFragObject(len, size, maxstep);RedisModule_ModuleTypeSetValue(key, FragType, o);RedisModule_ReplyWithSimpleString(ctx, "OK");RedisModule_CloseKey(key);return REDISMODULE_OK;
}void FragFree(void *value) {struct FragObject *o = value;for (unsigned long i = 0; i < o->len; i++)RedisModule_Free(o->values[i]);RedisModule_Free(o->values);RedisModule_Free(o);
}size_t FragFreeEffort(RedisModuleString *key, const void *value) {REDISMODULE_NOT_USED(key);const struct FragObject *o = value;return o->len;
}int FragDefrag(RedisModuleDefragCtx *ctx, RedisModuleString *key, void **value) {REDISMODULE_NOT_USED(key);unsigned long i = 0;int steps = 0;/* Attempt to get cursor, validate it's what we're exepcting */if (RedisModule_DefragCursorGet(ctx, &i) == REDISMODULE_OK) {if (i > 0) datatype_resumes++;/* Validate we're expecting this cursor */if (i != last_set_cursor) datatype_wrong_cursor++;} else {if (last_set_cursor != 0) datatype_wrong_cursor++;}/* Attempt to defrag the object itself */datatype_attempts++;struct FragObject *o = RedisModule_DefragAlloc(ctx, *value);if (o == NULL) {/* Not defragged */o = *value;} else {/* Defragged */*value = o;datatype_defragged++;}/* Deep defrag now */for (; i < o->len; i++) {datatype_attempts++;void *new = RedisModule_DefragAlloc(ctx, o->values[i]);if (new) {o->values[i] = new;datatype_defragged++;}if ((o->maxstep && ++steps > o->maxstep) ||((i % 64 == 0) && RedisModule_DefragShouldStop(ctx))){RedisModule_DefragCursorSet(ctx, i);last_set_cursor = i;return 1;}}last_set_cursor = 0;return 0;
}int RedisModule_OnLoad(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {REDISMODULE_NOT_USED(argv);REDISMODULE_NOT_USED(argc);if (RedisModule_Init(ctx, "defragtest", 1, REDISMODULE_APIVER_1)== REDISMODULE_ERR) return REDISMODULE_ERR;if (RedisModule_GetTypeMethodVersion() < REDISMODULE_TYPE_METHOD_VERSION) {return REDISMODULE_ERR;}long long glen;if (argc != 1 || RedisModule_StringToLongLong(argv[0], &glen) == REDISMODULE_ERR) {return REDISMODULE_ERR;}createGlobalStrings(ctx, glen);RedisModuleTypeMethods tm = {.version = REDISMODULE_TYPE_METHOD_VERSION,.free = FragFree,.free_effort = FragFreeEffort,.defrag = FragDefrag};FragType = RedisModule_CreateDataType(ctx, "frag_type", 0, &tm);if (FragType == NULL) return REDISMODULE_ERR;if (RedisModule_CreateCommand(ctx, "frag.create",fragCreateCommand, "write deny-oom", 1, 1, 1) == REDISMODULE_ERR)return REDISMODULE_ERR;if (RedisModule_CreateCommand(ctx, "frag.resetstats",fragResetStatsCommand, "write deny-oom", 1, 1, 1) == REDISMODULE_ERR)return REDISMODULE_ERR;RedisModule_RegisterInfoFunc(ctx, FragInfo);RedisModule_RegisterDefragFunc(ctx, defragGlobalStrings);return REDISMODULE_OK;
}

这篇关于漫话Redis源码之一百零二的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/683858

相关文章

Redis指南及6.2.x版本安装过程

《Redis指南及6.2.x版本安装过程》Redis是完全开源免费的,遵守BSD协议,是一个高性能(NOSQL)的key-value数据库,Redis是一个开源的使用ANSIC语言编写、支持网络、... 目录概述Redis特点Redis应用场景缓存缓存分布式会话分布式锁社交网络最新列表Redis各版本介绍旧

Java如何从Redis中批量读取数据

《Java如何从Redis中批量读取数据》:本文主要介绍Java如何从Redis中批量读取数据的情况,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一.背景概述二.分析与实现三.发现问题与屡次改进3.1.QPS过高而且波动很大3.2.程序中断,抛异常3.3.内存消

Redis中的Lettuce使用详解

《Redis中的Lettuce使用详解》Lettuce是一个高级的、线程安全的Redis客户端,用于与Redis数据库交互,Lettuce是一个功能强大、使用方便的Redis客户端,适用于各种规模的J... 目录简介特点连接池连接池特点连接池管理连接池优势连接池配置参数监控常用监控工具通过JMX监控通过Pr

python操作redis基础

《python操作redis基础》Redis(RemoteDictionaryServer)是一个开源的、基于内存的键值对(Key-Value)存储系统,它通常用作数据库、缓存和消息代理,这篇文章... 目录1. Redis 简介2. 前提条件3. 安装 python Redis 客户端库4. 连接到 Re

Redis迷你版微信抢红包实战

《Redis迷你版微信抢红包实战》本文主要介绍了Redis迷你版微信抢红包实战... 目录1 思路分析1.1hCckRX 流程1.2 注意点①拆红包:二倍均值算法②发红包:list③抢红包&记录:hset2 代码实现2.1 拆红包splitRedPacket2.2 发红包sendRedPacket2.3 抢

Golang实现Redis分布式锁(Lua脚本+可重入+自动续期)

《Golang实现Redis分布式锁(Lua脚本+可重入+自动续期)》本文主要介绍了Golang分布式锁实现,采用Redis+Lua脚本确保原子性,持可重入和自动续期,用于防止超卖及重复下单,具有一定... 目录1 概念应用场景分布式锁必备特性2 思路分析宕机与过期防止误删keyLua保证原子性可重入锁自动

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp

redis在spring boot中异常退出的问题解决方案

《redis在springboot中异常退出的问题解决方案》:本文主要介绍redis在springboot中异常退出的问题解决方案,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴... 目录问题:解决 问题根源️ 解决方案1. 异步处理 + 提前ACK(关键步骤)2. 调整Redis消费者组

springboot项目redis缓存异常实战案例详解(提供解决方案)

《springboot项目redis缓存异常实战案例详解(提供解决方案)》redis基本上是高并发场景上会用到的一个高性能的key-value数据库,属于nosql类型,一般用作于缓存,一般是结合数据... 目录缓存异常实践案例缓存穿透问题缓存击穿问题(其中也解决了穿透问题)完整代码缓存异常实践案例Red