支持调度的简易KV缓存设计

2024-02-26 21:48

本文主要是介绍支持调度的简易KV缓存设计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

0.写在前面的话

1.顶层接口

1.1顶层接口KVCache,>

1.2顶层接口CallableCapturer,>

2.缓存实现

3.自定义缓存调度ScheduledKVCache,>

4.线程安全性保证

5.后续改进


0.写在前面的话

本篇介绍一种支持调度的键值缓存设计,其中缓存的对象是一个Callable对象;

主要从顶层接口、缓存实现、自定义缓存调度、线程安全性保证、后续改进等几个角度进行说明;

缓存设计的类图如下:

1.顶层接口

顶层接口从上层需求角度定义了一套逻辑接口方法,用程序语言定义了该模块是什么,能够干什么事情,具体怎么干交由具体的子类去实现;它是对底层实现的重要参考和规范,体现了一种由抽象到具体、由简单到复杂的过程。

1.1顶层接口KVCache<K, V>

顶层接口KVCache<K, V>定义了几个顶层缓存方法,主要用于增删查等操作,源码如下:

public interface KVCache<K, V> {/*** @return The identifier of this cache*/String getId();/*** putObject** @param key   The key* @param value The put value*/void putObject(K key, V value);/*** @param key The key* @return The object stored in the cache.*/V getObject(K key);/*** @param key The key*/void removeObject(K key);/*** Clears this cache instance*/void clear();/*** @return The number of elements stored in the cache (not its capacity).*/int getSize();
}

1.2顶层接口CallableCapturer<K, V>

该顶层接口主要提供了一个可由子类去具体实现的获取Callable的接口方法,最大程度上满足不同子类具体实现的差异性需求;

public interface CallableCapturer<K, V> {/*** Let subclass implement this method to specify concrete action** @param key The key* @return*/Callable<V> getCallable(K key);
}

2.缓存实现AbstractCallableKVCache<K, V>

AbstractCallableKVCache<K, V>对KVCache<K, V>顶层接口进行了具体实现,id表示该缓存的唯一标识,ConcurrentMap用于具体存储需要缓存的键值对;

同时实现CallableCapturer<K, V>接口,主要用于从具体子类中获取构造的Callable对象;

@ThreadSafe
public abstract class AbstractCallableKVCache<K, V> implements CallableCapturer<K, V>, KVCache<K, V> {private static final Logger log = LoggerFactory.getLogger(AbstractCallableKVCache.class);private final String id;private final ConcurrentMap<K, Future<V>> cache = Maps.newConcurrentMap();protected AbstractCallableKVCache(String id) {this.id = id;}@Overridepublic String getId() {return id;}@Overridepublic void putObject(K key, V value) {cache.put(key, new FutureTask(() -> value));}@Overridepublic V getObject(K key) {Future<V> origin = cache.get(key);if (origin == null) {Future<V> futureTask = new FutureTask(getCallable(key));origin = cache.putIfAbsent(key, futureTask);if (origin == null) {origin = futureTask;((FutureTask) futureTask).run();}} else {log.info("Hit Local Cache Key:{}", key);}try {return origin.get();} catch (CancellationException e) {log.error("ThreadSafeCache#getObject - Task is cancelled exception, key:{}", key, e);cache.remove(key, origin);throw new KVCacheRuntimeException("Task is cancelled exception", e);} catch (InterruptedException e) {log.error("ThreadSafeCache#getObject - Thread is interrupted exception, key:{}", key, e);Thread.currentThread().interrupt();cache.remove(key, origin);throw new KVCacheRuntimeException("Thread is interrupted exception", e);} catch (ExecutionException e) {log.error("ThreadSafeCache#getObject -An execution exception is occurred, key:{}", key, e);cache.remove(key, origin);throw new KVCacheRuntimeException("An execution exception is occurred", e);}}@Overridepublic void removeObject(K key) {cache.remove(key);}@Overridepublic void clear() {cache.clear();}@Overridepublic int getSize() {return cache.size();}
}

3.自定义缓存调度ScheduledKVCache<K, V>

ScheduledKVCache<K, V>包装了缓存失效策略的实现,定义了一个超时时间,当到达超时时间的时候清空本地缓存,具体实现如下:

这里主要参考mybatis提供的ScheduledCache设计实现(ScheduledCache不支持多线程访问);

public class ScheduledKVCache<K, V> implements KVCache<K, V> {private static final Logger log = LoggerFactory.getLogger(ScheduledKVCache.class);private final KVCache<K, V> delegate;private volatile long lastClear;private volatile long clearInterval;public ScheduledKVCache(KVCache<K, V> delegate) {this.delegate = delegate;this.clearInterval = 10 * 60 * 1000L; //default 10 minutesthis.lastClear = System.currentTimeMillis();}@Overridepublic String getId() {return delegate.getId();}@Overridepublic void putObject(K key, V value) {clearWhenStale();delegate.putObject(key, value);}@Overridepublic V getObject(K key) {clearWhenStale();return delegate.getObject(key);}@Overridepublic void removeObject(K key) {clearWhenStale();delegate.removeObject(key);}@Overridepublic void clear() {log.info("!----------------------Clear Local Cache----------------------!");lastClear = System.currentTimeMillis();delegate.clear();}@Overridepublic int getSize() {clearWhenStale();return delegate.getSize();}private boolean clearWhenStale() {if (System.currentTimeMillis() - lastClear > clearInterval) {clear();return true;}return false;}public void setClearInterval(long clearInterval) {this.clearInterval = clearInterval;}
}

4.线程安全性保证

这里线程安全性主要包含如下几点保障:

  • 委托给ConcurrentMap,ConcurrentMap利用分段锁实现了线程安全,同时保证了多线程的并发读写能力;

  • 域变量修饰符为volatile,volatile保证了多线程下的可见性;

  • 域变量修饰符为final,final保证了初始化过程的安全发布,实现线程安全性;

5.后续改进

  • 目前实现的支持调度的键值缓存,在达到超时时间时,会把整个缓存清空,也就是说超时时间的作用粒度是在整个缓存;
  • 后期可以支持超时时间的作用粒度时间到单个key上,不同key之间的超时时间是独立的,这样就能进一步的提升缓存的命中率,提升缓存性能;

这篇关于支持调度的简易KV缓存设计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/750264

相关文章

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

Apache Ignite缓存基本操作实例详解

《ApacheIgnite缓存基本操作实例详解》文章介绍了ApacheIgnite中IgniteCache的基本操作,涵盖缓存获取、动态创建、销毁、原子及条件更新、异步执行,强调线程池注意事项,避免... 目录一、获取缓存实例(Getting an Instance of a Cache)示例代码:二、动态

Java中的xxl-job调度器线程池工作机制

《Java中的xxl-job调度器线程池工作机制》xxl-job通过快慢线程池分离短时与长时任务,动态降级超时任务至慢池,结合异步触发和资源隔离机制,提升高频调度的性能与稳定性,支撑高并发场景下的可靠... 目录⚙️ 一、调度器线程池的核心设计 二、线程池的工作流程 三、线程池配置参数与优化 四、总结:线程

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高

k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

《k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)》本文记录在K8s上运行的MySQL/MariaDB备份方案,通过工具容器执行mysqldump,结合定时任务实... 目录前言一、获取需要备份的数据库的信息二、备份步骤1.准备工作(X86)1.准备工作(arm)2.手

华为鸿蒙HarmonyOS 5.1官宣7月开启升级! 首批支持名单公布

《华为鸿蒙HarmonyOS5.1官宣7月开启升级!首批支持名单公布》在刚刚结束的华为Pura80系列及全场景新品发布会上,除了众多新品的发布,还有一个消息也点燃了所有鸿蒙用户的期待,那就是Ha... 在今日的华为 Pura 80 系列及全场景新品发布会上,华为宣布鸿蒙 HarmonyOS 5.1 将于 7

MyBatis设计SQL返回布尔值(Boolean)的常见方法

《MyBatis设计SQL返回布尔值(Boolean)的常见方法》这篇文章主要为大家详细介绍了MyBatis设计SQL返回布尔值(Boolean)的几种常见方法,文中的示例代码讲解详细,感兴趣的小伙伴... 目录方案一:使用COUNT查询存在性(推荐)方案二:条件表达式直接返回布尔方案三:存在性检查(EXI

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe

如何更改pycharm缓存路径和虚拟内存分页文件位置(c盘爆红)

《如何更改pycharm缓存路径和虚拟内存分页文件位置(c盘爆红)》:本文主要介绍如何更改pycharm缓存路径和虚拟内存分页文件位置(c盘爆红)问题,具有很好的参考价值,希望对大家有所帮助,如有... 目录先在你打算存放的地方建四个文件夹更改这四个路径就可以修改默认虚拟内存分页js文件的位置接下来从高级-