node.js Redis SETNX命令实现分布式锁解决超卖/定时任务重复执行问题

本文主要是介绍node.js Redis SETNX命令实现分布式锁解决超卖/定时任务重复执行问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis SETNX 命令背后的原理探究

当然,让我们通过一个简单的例子,使用 Redis CLI(命令行界面)来模拟获取锁和释放锁的过程。 在此示例中

  1. 获取锁:
# 首先,设置锁密钥的唯一值和过期时间(秒)
127.0.0.1:6379> SET lock:tcaccount_1234 unique_value NX EX 3
OK

这里,“unique_value”是与锁关联的唯一标识符的占位符(生产环境UUID,随字符串),“EX 3”将过期时间设置为 3 秒

  1. 在另一个会话或请求中检查并获取锁:
# 其次,检查锁key是否存在,不存在则获取锁
127.0.0.1:6379> SET lock:tcaccount_1234 unique_value NX EX 3
(nil)

第二次尝试返回 nil,因为锁已经存在。 在真实的应用程序中,您将检查结果,如果结果为零,您可能会转到下一个帐户或等待并重试。

  1. 释放锁:
# 通过删除锁定密钥来解除锁定
127.0.0.1:6379> DEL lock:tcaccount_1234
(integer) 1

The DEL 命令用于删除锁键,有效释放锁。 返回的整数值 1 表示删除了一个键。

请注意,这是一个简化的示例,在现实场景中,您通常会使用脚本(例如 Lua 脚本)来使锁的获取和释放原子化,从而防止竞争条件。 这里的示例旨在说明使用 Redis 命令进行锁定的基本原理。

Node.js 程序中集成

node -v # v16.20.2
npm install redis # 笔者版本"redis": "^4.2.0"

node.js redis client.eval() 方法lua脚本如何正确传参

// redis version 4x:
let result = await client.eval('return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}', {keys: ['key1', 'key2'],arguments: ['first', 'second']
}); 
//result =  [ 'key1', 'key2', 'first', 'second' ]// redis version 3x:
v3Client.eval('return KEYS[1]', '1', 'key', (err, reply) => {console.log(reply); // 'key'
});
v3Client.eval('return KEYS[1]', '0', 'argument', (err, reply) => {console.log(reply); // 'argument'
});

请注意redis 驱动依赖库版本选择对应的语法

加锁实现

错误加锁方式一分步设置值和过期时间

在分布式加锁中,设置键值和设置过期时间应该是原子操作,以确保在设置键值的同时,也设置了过期时间。如果将这两步操作分开,可能会导致在设置键值后,还未来得及设置过期时间时,其他进程可能已经获取了锁。

下面是你的 JavaScript 代码拆分为两步的示例,并添加了一些中文注释和错误演示:

// 第一步:设置键值
const setResult = await client.set(lockKey, uniqueValue);// 第二步:设置过期时间
const expireResult = await client.expire(lockKey, expireTime);// 检查结果
if (setResult === 'OK' && expireResult === 1) {console.log(`[s] 已获取锁 ${resourceKey}`);return true;
} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;
}

这里使用 client.set 来设置键值,然后使用 client.expire 来设置过期时间。请注意,这两个操作是分开的,因此在设置键值后,还需要等待过期时间的设置。这样的分步操作可能导致在设置键值后,其他进程可能已经获取了锁,因为过期时间还未来得及设置。

错误加锁方式二
 const result =   await client.setEx(lockKey, expireTime, uniqueValue);if (result === 'OK') {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}

如图所示怎样加锁并不是原子性
java go 语言中这种方式可行,但是时在 node.js redis 4.2.0 中并不能避免并发问题(见下gif 动图演示)

正确的 Lua脚本用于原子获取锁
        // 锁的键和值const lockKey = `lock:${resourceKey}`;// Lua脚本用于原子获取锁const luaScript = `if redis.call('SET', KEYS[1], ARGV[1], 'NX', 'EX', ARGV[2]) thenreturn 1elsereturn 0end`;// 执行Lua脚本const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue, `${expireTime}`]});if (result === 1) {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}}

请添加图片描述

释放锁的实现

释放锁时需要验证value值,也就是说我们在获取锁的时候需要设置一个value,不能直接用del key这种粗暴的方式,因为直接del key任何客户端都可以进行解锁了,所以解锁时,我们需要判断锁是否是自己的,基于value值来判断,代码如下

 
/*** 释放锁* @param resourceKey 资源键名* @param uniqueValue 唯一值,用于验证锁的所有者(建议:UUID)* @returns 是否成功释放锁*/async function unlock(resource, uniqueValue) {const lockKey = `lock:${resource}`;const luaScript = `if redis.call("GET", KEYS[1]) == ARGV[1] thenreturn redis.call("DEL", KEYS[1])elsereturn 0end`;const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue]});if (result === 1) {console.log('[s] 锁释放成功');} else {console.log('[x] 锁释放失败,可能锁已经被其他客户端更新');}}

在释放锁的操作中,使用 uniqueValue 的唯一值是为了确保只有持有相应唯一值的客户端才能成功释放锁。这是为了防止其他客户端错误地释放了不属于它们的锁。

具体来说,释放锁的 Lua 脚本中的这部分逻辑:

if redis.call("GET", KEYS[1]) == ARGV[1] thenreturn redis.call("DEL", KEYS[1])
elsereturn 0
end

这段脚本首先检查锁的当前持有者是否与传入的 uniqueValue 相匹配。如果匹配,说明当前调用释放锁的客户端是锁的所有者,然后执行 DEL 命令删除锁。如果不匹配,则返回 0,表示释放锁失败。

使用 uniqueValue 的好处是:

  1. 确保只有锁的所有者才能释放锁: 持有相应 uniqueValue 的客户端才能成功释放锁。如果其他客户端尝试使用不同的 uniqueValue 释放锁,Lua 脚本会拒绝操作,保护了锁的所有权。

  2. 防止误释放: 避免了其他客户端误操作释放了不属于它们的锁。如果不使用唯一值,任何客户端都可以尝试释放锁,这可能导致竞争条件和不一致性。

在分布式系统中,确保释放锁的操作是安全和可靠的是至关重要的,使用唯一值是一种有效的方式。通常,可以使用唯一标识符(如 UUID)作为 uniqueValue,以确保其唯一性。

应用场景

在这里插入图片描述
多台机器定时任务重复执行(如:日终对账,0点0分只有一个任务去工作,其他没拿到锁跳过了任务)
订单超卖(如:操作同一商品库存时,保证并发下唯一个任务拿到库存数去做扣库存,创建订单操作)

完整脚本如下

const {createClient} = require('redis');
const {generateUUID} = require("../models/utl");
(async ()=> {const client = await createClient().on('error', err => console.log('Redis Client Error', err)).connect();async function lock(resourceKey, uniqueValue, expireTime = 10) {// 锁的键和值const lockKey = `lock:${resourceKey}`;/*   const result =   await client.setEx(lockKey, expireTime, uniqueValue);if (result === 'OK') {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}
*/// Lua脚本用于原子获取锁const luaScript = `if redis.call('SET', KEYS[1], ARGV[1], 'NX', 'EX', ARGV[2]) thenreturn 1elsereturn 0end`;// 执行Lua脚本const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue, `${expireTime}`]});if (result === 1) {console.log(`[s] 已获取锁 ${resourceKey}`);return true;} else {console.log(`[x] 无法获取锁 ${resourceKey}`);return false;}}async function unlock(resource, uniqueValue) {const lockKey = `lock:${resource}`;const luaScript = `if redis.call("GET", KEYS[1]) == ARGV[1] thenreturn redis.call("DEL", KEYS[1])elsereturn 0end`;const result = await client.eval(luaScript, {keys: [lockKey],arguments: [uniqueValue]});if (result === 1) {console.log('[s] 锁释放成功');} else {console.log('[x] 锁释放失败,可能锁已经被其他客户端更新');}}async function exampleUsage(resource) {const uniqueValue = generateUUID();const isLockAcquired = await lock(resource, uniqueValue);if (isLockAcquired) {try {// 在这里执行受锁保护的代码// 模拟一些处理时间await new Promise(resolve => setTimeout(resolve, 5000));} finally {// 最后释放锁unlock(resource, uniqueValue);}} else {console.log('[x] 未获取锁。 另一个进程可能正在持有锁。');}}const resourcePk = 'account_id123'let taskList = []for (let i = 0; i < 10; i++) {taskList.push( exampleUsage(resourcePk))}//并发拿同一账号await Promise.all(taskList);await new Promise(resolve => setTimeout(resolve, 6000));//测试重新获取锁await exampleUsage(resourcePk);})()

这篇关于node.js Redis SETNX命令实现分布式锁解决超卖/定时任务重复执行问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/653795

相关文章

python使用Akshare与Streamlit实现股票估值分析教程(图文代码)

《python使用Akshare与Streamlit实现股票估值分析教程(图文代码)》入职测试中的一道题,要求:从Akshare下载某一个股票近十年的财务报表包括,资产负债表,利润表,现金流量表,保存... 目录一、前言二、核心知识点梳理1、Akshare数据获取2、Pandas数据处理3、Matplotl

shell脚本批量导出redis key-value方式

《shell脚本批量导出rediskey-value方式》为避免keys全量扫描导致Redis卡顿,可先通过dump.rdb备份文件在本地恢复,再使用scan命令渐进导出key-value,通过CN... 目录1 背景2 详细步骤2.1 本地docker启动Redis2.2 shell批量导出脚本3 附录总

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

分布式锁在Spring Boot应用中的实现过程

《分布式锁在SpringBoot应用中的实现过程》文章介绍在SpringBoot中通过自定义Lock注解、LockAspect切面和RedisLockUtils工具类实现分布式锁,确保多实例并发操作... 目录Lock注解LockASPect切面RedisLockUtils工具类总结在现代微服务架构中,分布

Java使用Thumbnailator库实现图片处理与压缩功能

《Java使用Thumbnailator库实现图片处理与压缩功能》Thumbnailator是高性能Java图像处理库,支持缩放、旋转、水印添加、裁剪及格式转换,提供易用API和性能优化,适合Web应... 目录1. 图片处理库Thumbnailator介绍2. 基本和指定大小图片缩放功能2.1 图片缩放的

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

Springboot项目启动失败提示找不到dao类的解决

《Springboot项目启动失败提示找不到dao类的解决》SpringBoot启动失败,因ProductServiceImpl未正确注入ProductDao,原因:Dao未注册为Bean,解决:在启... 目录错误描述原因解决方法总结***************************APPLICA编

Redis客户端连接机制的实现方案

《Redis客户端连接机制的实现方案》本文主要介绍了Redis客户端连接机制的实现方案,包括事件驱动模型、非阻塞I/O处理、连接池应用及配置优化,具有一定的参考价值,感兴趣的可以了解一下... 目录1. Redis连接模型概述2. 连接建立过程详解2.1 连php接初始化流程2.2 关键配置参数3. 最大连

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略,其核心思想是在价格上下预设多个“网格”,当价格触发特定网格时执行买

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程(建议全程用root用户)总结