node.js Redis SETNX命令实现分布式锁解决超卖/定时任务重复执行问题

本文主要是介绍node.js Redis SETNX命令实现分布式锁解决超卖/定时任务重复执行问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis SETNX 命令背后的原理探究

当然,让我们通过一个简单的例子,使用 Redis CLI(命令行界面)来模拟获取锁和释放锁的过程。 在此示例中

  1. 获取锁:
# 首先,设置锁密钥的唯一值和过期时间(秒)
127.0.0.1:6379> SET lock:tcaccount_1234 unique_value NX EX 3
OK

这里,“unique_value”是与锁关联的唯一标识符的占位符(生产环境UUID,随字符串),“EX 3”将过期时间设置为 3 秒

  1. 在另一个会话或请求中检查并获取锁:
# 其次,检查锁key是否存在,不存在则获取锁
127.0.0.1:6379> SET lock:tcaccount_1234 unique_value NX EX 3
(nil)

第二次尝试返回 nil,因为锁已经存在。 在真实的应用程序中,您将检查结果,如果结果为零,您可能会转到下一个帐户或等待并重试。

  1. 释放锁:
# 通过删除锁定密钥来解除锁定
127.0.0.1:6379> DEL lock:tcaccount_1234
(integer) 1

The DEL 命令用于删除锁键,有效释放锁。 返回的整数值 1 表示删除了一个键。

请注意,这是一个简化的示例,在现实场景中,您通常会使用脚本(例如 Lua 脚本)来使锁的获取和释放原子化,从而防止竞争条件。 这里的示例旨在说明使用 Redis 命令进行锁定的基本原理。

Node.js 程序中集成

node -v # v16.20.2
npm install redis # 笔者版本"redis": "^4.2.0"

node.js redis client.eval() 方法lua脚本如何正确传参

// redis version 4x:
let result = await client.eval('return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}', {keys: ['key1', 'key2'],arguments: ['first', 'second']
}); 
//result =  [ 'key1', 'key2', 'first', 'second' ]// redis version 3x:
v3Client.eval('return KEYS[1]', '1', 'key', (err, reply) => {console.log(reply); // 'key'
});
v3Client.eval('return KEYS[1]', '0', 'argument', (err, reply) => {console.log(reply); // 'argument'
});

请注意redis 驱动依赖库版本选择对应的语法

加锁实现

错误加锁方式一分步设置值和过期时间

在分布式加锁中,设置键值和设置过期时间应该是原子操作,以确保在设置键值的同时,也设置了过期时间。如果将这两步操作分开,可能会导致在设置键值后,还未来得及设置过期时间时,其他进程可能已经获取了锁。

下面是你的 JavaScript 代码拆分为两步的示例,并添加了一些中文注释和错误演示:

// 第一步:设置键值
const setResult = await client.set(lockKey, uniqueValue);// 第二步:设置过期时间
const expireResult = await client.expire(lockKey, expireTime);// 检查结果
if (setResult === 'OK' && expireResult === 1) {console.log(`[s] 已获取锁 ${resourceKey}`);return true;
} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;
}

这里使用 client.set 来设置键值,然后使用 client.expire 来设置过期时间。请注意,这两个操作是分开的,因此在设置键值后,还需要等待过期时间的设置。这样的分步操作可能导致在设置键值后,其他进程可能已经获取了锁,因为过期时间还未来得及设置。

错误加锁方式二
 const result =   await client.setEx(lockKey, expireTime, uniqueValue);if (result === 'OK') {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}

如图所示怎样加锁并不是原子性
java go 语言中这种方式可行,但是时在 node.js redis 4.2.0 中并不能避免并发问题(见下gif 动图演示)

正确的 Lua脚本用于原子获取锁
        // 锁的键和值const lockKey = `lock:${resourceKey}`;// Lua脚本用于原子获取锁const luaScript = `if redis.call('SET', KEYS[1], ARGV[1], 'NX', 'EX', ARGV[2]) thenreturn 1elsereturn 0end`;// 执行Lua脚本const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue, `${expireTime}`]});if (result === 1) {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}}

请添加图片描述

释放锁的实现

释放锁时需要验证value值,也就是说我们在获取锁的时候需要设置一个value,不能直接用del key这种粗暴的方式,因为直接del key任何客户端都可以进行解锁了,所以解锁时,我们需要判断锁是否是自己的,基于value值来判断,代码如下

 
/*** 释放锁* @param resourceKey 资源键名* @param uniqueValue 唯一值,用于验证锁的所有者(建议:UUID)* @returns 是否成功释放锁*/async function unlock(resource, uniqueValue) {const lockKey = `lock:${resource}`;const luaScript = `if redis.call("GET", KEYS[1]) == ARGV[1] thenreturn redis.call("DEL", KEYS[1])elsereturn 0end`;const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue]});if (result === 1) {console.log('[s] 锁释放成功');} else {console.log('[x] 锁释放失败,可能锁已经被其他客户端更新');}}

在释放锁的操作中,使用 uniqueValue 的唯一值是为了确保只有持有相应唯一值的客户端才能成功释放锁。这是为了防止其他客户端错误地释放了不属于它们的锁。

具体来说,释放锁的 Lua 脚本中的这部分逻辑:

if redis.call("GET", KEYS[1]) == ARGV[1] thenreturn redis.call("DEL", KEYS[1])
elsereturn 0
end

这段脚本首先检查锁的当前持有者是否与传入的 uniqueValue 相匹配。如果匹配,说明当前调用释放锁的客户端是锁的所有者,然后执行 DEL 命令删除锁。如果不匹配,则返回 0,表示释放锁失败。

使用 uniqueValue 的好处是:

  1. 确保只有锁的所有者才能释放锁: 持有相应 uniqueValue 的客户端才能成功释放锁。如果其他客户端尝试使用不同的 uniqueValue 释放锁,Lua 脚本会拒绝操作,保护了锁的所有权。

  2. 防止误释放: 避免了其他客户端误操作释放了不属于它们的锁。如果不使用唯一值,任何客户端都可以尝试释放锁,这可能导致竞争条件和不一致性。

在分布式系统中,确保释放锁的操作是安全和可靠的是至关重要的,使用唯一值是一种有效的方式。通常,可以使用唯一标识符(如 UUID)作为 uniqueValue,以确保其唯一性。

应用场景

在这里插入图片描述
多台机器定时任务重复执行(如:日终对账,0点0分只有一个任务去工作,其他没拿到锁跳过了任务)
订单超卖(如:操作同一商品库存时,保证并发下唯一个任务拿到库存数去做扣库存,创建订单操作)

完整脚本如下

const {createClient} = require('redis');
const {generateUUID} = require("../models/utl");
(async ()=> {const client = await createClient().on('error', err => console.log('Redis Client Error', err)).connect();async function lock(resourceKey, uniqueValue, expireTime = 10) {// 锁的键和值const lockKey = `lock:${resourceKey}`;/*   const result =   await client.setEx(lockKey, expireTime, uniqueValue);if (result === 'OK') {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}
*/// Lua脚本用于原子获取锁const luaScript = `if redis.call('SET', KEYS[1], ARGV[1], 'NX', 'EX', ARGV[2]) thenreturn 1elsereturn 0end`;// 执行Lua脚本const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue, `${expireTime}`]});if (result === 1) {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}}async function unlock(resource, uniqueValue) {const lockKey = `lock:${resource}`;const luaScript = `if redis.call("GET", KEYS[1]) == ARGV[1] thenreturn redis.call("DEL", KEYS[1])elsereturn 0end`;const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue]});if (result === 1) {console.log('[s] 锁释放成功');} else {console.log('[x] 锁释放失败,可能锁已经被其他客户端更新');}}async function exampleUsage(resource) {const uniqueValue = generateUUID();const isLockAcquired = await lock(resource, uniqueValue);if (isLockAcquired) {try {// 在这里执行受锁保护的代码// 模拟一些处理时间await new Promise(resolve => setTimeout(resolve, 5000));} finally {// 最后释放锁unlock(resource, uniqueValue);}} else {console.log('[x] 未获取锁。 另一个进程可能正在持有锁。');}}const resourcePk = 'account_id123'let taskList = []for (let i = 0; i < 10; i++) {taskList.push( exampleUsage(resourcePk))}//并发拿同一账号await Promise.all(taskList);await new Promise(resolve => setTimeout(resolve, 6000));//测试重新获取锁await exampleUsage(resourcePk);})()

这篇关于node.js Redis SETNX命令实现分布式锁解决超卖/定时任务重复执行问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/653795

相关文章

SpringBoot集成redisson实现延时队列教程

《SpringBoot集成redisson实现延时队列教程》文章介绍了使用Redisson实现延迟队列的完整步骤,包括依赖导入、Redis配置、工具类封装、业务枚举定义、执行器实现、Bean创建、消费... 目录1、先给项目导入Redisson依赖2、配置redis3、创建 RedissonConfig 配

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

Python的Darts库实现时间序列预测

《Python的Darts库实现时间序列预测》Darts一个集统计、机器学习与深度学习模型于一体的Python时间序列预测库,本文主要介绍了Python的Darts库实现时间序列预测,感兴趣的可以了解... 目录目录一、什么是 Darts?二、安装与基本配置安装 Darts导入基础模块三、时间序列数据结构与

C++右移运算符的一个小坑及解决

《C++右移运算符的一个小坑及解决》文章指出右移运算符处理负数时左侧补1导致死循环,与除法行为不同,强调需注意补码机制以正确统计二进制1的个数... 目录我遇到了这么一个www.chinasem.cn函数由此可以看到也很好理解总结我遇到了这么一个函数template<typename T>unsigned

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步:安装必要的依赖库第二步:获取并构建 BoringSSL第三步:获取 Nginx

MyBatis Plus实现时间字段自动填充的完整方案

《MyBatisPlus实现时间字段自动填充的完整方案》在日常开发中,我们经常需要记录数据的创建时间和更新时间,传统的做法是在每次插入或更新操作时手动设置这些时间字段,这种方式不仅繁琐,还容易遗漏,... 目录前言解决目标技术栈实现步骤1. 实体类注解配置2. 创建元数据处理器3. 服务层代码优化填充机制详

Python实现Excel批量样式修改器(附完整代码)

《Python实现Excel批量样式修改器(附完整代码)》这篇文章主要为大家详细介绍了如何使用Python实现一个Excel批量样式修改器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录前言功能特性核心功能界面特性系统要求安装说明使用指南基本操作流程高级功能技术实现核心技术栈关键函