【项目日记(五)】第二层: 中心缓存的具体实现(上)

2024-01-27 14:36

本文主要是介绍【项目日记(五)】第二层: 中心缓存的具体实现(上),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

💓博主CSDN主页:杭电码农-NEO💓

⏩专栏分类:项目日记-高并发内存池⏪

🚚代码仓库:NEO的学习日记🚚

🌹关注我🫵带你做项目
  🔝🔝
开发环境: Visual Studio 2022


在这里插入图片描述

项目日记

  • 1. 前言
  • 2. 中心缓存的哈希桶结构
  • 3. span结构的具体实现
  • 4. 中心缓存类的定义
  • 5. 中心缓存如何分配小块儿内存?
  • 6. 中心缓存无内存时应该如何做?
  • 7. 总结

1. 前言

中心缓存起到一个承上启下的作用,
它负责给线程缓存分配小块儿的内
存,并且负责从页缓存申请大块儿内存

本章重点:

本篇文章着重讲解中心缓存的结构
包括span类的具体成员.并且会讲解
中心缓存是如何给线程缓存分配内存
并且是如何向页缓存申请/内存的!


2. 中心缓存的哈希桶结构

在对整个项目的结构做介绍的文章
中以及提到过中心缓存的结构了,
值得注意的是中心缓存使用的是桶锁
即每个哈希桶也就是每个spanlist都
又一个互斥锁

在这里插入图片描述


3. span结构的具体实现

span的具体结构:

shared.h文件:

//管理多个连续页的大块内存跨度结构,centralcache的哈希桶中链接的就是这种结构
class SpanData
{
public:PAGE_ID _pageid = 0;//32位下,程序地址空间,2^32byte,一页8kb=2^13byte,一共有2^19页size_t _n = 0;//页数SpanData* _next = nullptr;SpanData* _prev = nullptr;size_t _useCount = 0;//span中切分好的小对象有几个被使用了void* _freeList = nullptr;//切分好的小块内存的自由链表bool _isUse = false; //这个span是否正在被使用,若没有被使用则可能被pagecache合并成为大页size_t _objSize = 0; //切分好的小对象的大小,方便后面删除的时候可以直接知道它的大小
};
class SpanList//双向带头循环链表
{
public:SpanList(){_head = new SpanData;_head->_next = _head;_head->_prev = _head;}SpanData* Begin(){return _head->_next;}SpanData* End(){return _head;}bool Empty()//判断这个桶中是不是没有span{return _head->_next == _head;}void Insert(SpanData* pos, SpanData* newSpan){assert(pos && newSpan);SpanData* prev = pos->_prev;prev->_next = newSpan;newSpan->_prev = prev;newSpan->_next = pos;pos->_prev = newSpan;}void Erase(SpanData* pos){assert(pos);assert(pos != _head);/*if (pos == _head){int x = 0;}*/SpanData* prev = pos->_prev;SpanData* next = pos->_next;prev->_next = next;next->_prev = prev;}void PushFront(SpanData* span){Insert(Begin(), span);}SpanData* PopFront(){SpanData* front = _head->_next;Erase(front);return front;//erase中没有将此节点释放}SpanData* _head = nullptr;std::mutex _mtx;//桶锁
}; 

对成员变量use_count的解释:
use_count为0时,代表这个span
中所有被分配出去的小块儿内存
都被线程缓存还回来了,此时可直接
将这个span从中心缓存还给页缓存


4. 中心缓存类的定义

并且,中心缓存整体被设计为了单例模式:

CentralCache.h文件:

lass CentralCache
{
public:static CentralCache* GetInstance(){return &_singleton;}// 从中心缓存获取一定数量的对象(小块儿内存)给thread cachesize_t FetchRangeObj(void*& start, void*& end, size_t massNum, size_t size);//拿n个内存对象,大小是byte_size,start和end是输出型参数// 从SpanList获取一个非空的spanSpanData* GetOneSpan(SpanList& list, size_t size);// 将ThreadCache返回来的内存重新挂在CentralCache的spanvoid ReleaseListToSpans(void* start, size_t byte_size);
private:CentralCache(){}CentralCache(const CentralCache&) = delete;
private:SpanList _spanlist[N_FREE_LIST];//中心缓存的桶映射规则和Thread一样,208个桶static CentralCache _singleton;//单例模式
};
CentralCache CentralCache::_singleton = new CentreaCache();

5. 中心缓存如何分配小块儿内存?

FetchRangeObj函数我们并不陌生,
在线程缓存中,当桶中没有小块儿内存
时就是调用此函数来中心缓存获取的!

分配内存的基本步骤1:

中心缓存会先找到对应的哈希桶,然后
去桶中取一个非空的span结构,再将这
个span结构中切分好的小块儿内存分
配给线程缓存使用

CentralCache.h文件:

size_t CentralCache::FetchRangeObj(void*& start, void*& end, size_t massNum, size_t size)
{size_t index = AlignmentRule::Index(size);//找到对应的哈希桶_spanlist[index]._mtx.lock();//加锁SpanData* span = GetOneSpan(_spanlist[index], size);//从桶中获取一个span结构assert(span && span->_freeList);//从span中获取massnum个对象,若没有这么多对象的话,有多少就给多少start = span->_freeList;//把start指向首地址end = start;int factcount = 1;//实际分配给线程缓存的对象个数int i = 0;while (*(void**)end != nullptr && i< massNum - 1){end = *(void**)end;i++;factcount++;}span->_useCount += factcount;span->_freeList = *(void**)end;*(void**)end = nullptr;_spanlist[index]._mtx.unlock();//解锁return factcount;
}

6. 中心缓存无内存时应该如何做?

分配内存的基本步骤2:

若对应的哈希桶中的span为空,也
就是中心缓存无内存了,就会调用
NewSpan去页缓存获取一个新的
span结构,然后把新的span切分为
小块儿内存后再给线程缓存使用!

SpanData* CentralCache::GetOneSpan(SpanList& list, size_t size)
{SpanData* it = list.Begin();//遍历centralcache的中固定桶的所有span,若找到有不为空的freelist,则直接返回while (it != list.End()){if (it->_freeList != nullptr)//如果中心缓存有非空span,直接返回return it;elseit = it->_next;}//先把centralcache的桶锁解除,这样如果其他线程释放内存对象回来不会阻塞list._mtx.unlock();//走到这儿证明这个桶中没有span小对象了,去找pagecache要span//直接在这里将页缓存结构加锁,Newspan内就不用加锁了PageCache::GetInstance()->_mtx.lock();SpanData* span = PageCache::GetInstance()->NewSpan(AlignmentRule::NumMovePage(size));//传的参数是要申请的页数,size越大对应的页就应该越大span->_isUse = true;//将这个span的状态修改为正在使用span->_objSize = size;PageCache::GetInstance()->_mtx.unlock();//下面的内容不需要加锁,因为获取到的span只有我这个线程有,其他线程访问不到char* address = (char*)((span->_pageid) << PAGE_SHIFT); //这个页的起始地址是页号*8*1024,第0页的地址是0,以此类推size_t bytes = span->_n << PAGE_SHIFT; //计算这个span总共有多少个字节,用_n(页数)*8*1024//接下来要将这个span的大块内存切分成小块内存用自由链表连接起来char* end = address + bytes;//address和end对应空间的开头和结尾//1. 先切一块下来去做头,方便后续尾插span->_freeList = address;address += size;void* cur = span->_freeList;while (address < end)//2. 遍历空间尾插{*(void**)cur = address;cur = *(void**)cur;address += size;}*(void**)cur = nullptr;//插入时需要加锁,否则指向可能乱掉list._mtx.lock();list.PushFront(span);return span;
}

值得注意的是,获取到span后我们要通过这个span的页数来知道这个span有多少内存,并且要通过这个span在程序地址空间的页号来判断这份内存的起始地址是多少!第0页的地址是0000 0000,第一页的地址是8KB,以此类推

在这里插入图片描述


7. 总结

中心缓存这里给线程缓存分配内存时是
有两种情况的,当中心缓存无内存时就
会向页缓存索要,而本篇文章只讲解了
申请内存的过程,而当线程缓存将内存
还回来后,还有可能将span还给页缓存


🔎 下期预告:中心缓存的具体实现(下)🔍

这篇关于【项目日记(五)】第二层: 中心缓存的具体实现(上)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/650539

相关文章

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述:HashMap的宏观结构二、核心数据结构解析1. 数组(桶数组)2. 链表节点(Node

Java AOP面向切面编程的概念和实现方式

《JavaAOP面向切面编程的概念和实现方式》AOP是面向切面编程,通过动态代理将横切关注点(如日志、事务)与核心业务逻辑分离,提升代码复用性和可维护性,本文给大家介绍JavaAOP面向切面编程的概... 目录一、AOP 是什么?二、AOP 的核心概念与实现方式核心概念实现方式三、Spring AOP 的关

vite搭建vue3项目的搭建步骤

《vite搭建vue3项目的搭建步骤》本文主要介绍了vite搭建vue3项目的搭建步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1.确保Nodejs环境2.使用vite-cli工具3.进入项目安装依赖1.确保Nodejs环境

Python实现字典转字符串的五种方法

《Python实现字典转字符串的五种方法》本文介绍了在Python中如何将字典数据结构转换为字符串格式的多种方法,首先可以通过内置的str()函数进行简单转换;其次利用ison.dumps()函数能够... 目录1、使用json模块的dumps方法:2、使用str方法:3、使用循环和字符串拼接:4、使用字符

MyBatis延迟加载与多级缓存全解析

《MyBatis延迟加载与多级缓存全解析》文章介绍MyBatis的延迟加载与多级缓存机制,延迟加载按需加载关联数据提升性能,一级缓存会话级默认开启,二级缓存工厂级支持跨会话共享,增删改操作会清空对应缓... 目录MyBATis延迟加载策略一对多示例一对多示例MyBatis框架的缓存一级缓存二级缓存MyBat

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

Linux挂载linux/Windows共享目录实现方式

《Linux挂载linux/Windows共享目录实现方式》:本文主要介绍Linux挂载linux/Windows共享目录实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录文件共享协议linux环境作为服务端(NFS)在服务器端安装 NFS创建要共享的目录修改 NFS 配

前端缓存策略的自解方案全解析

《前端缓存策略的自解方案全解析》缓存从来都是前端的一个痛点,很多前端搞不清楚缓存到底是何物,:本文主要介绍前端缓存的自解方案,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录一、为什么“清缓存”成了技术圈的梗二、先给缓存“把个脉”:浏览器到底缓存了谁?三、设计思路:把“发版”做成“自愈”四、代码

通过React实现页面的无限滚动效果

《通过React实现页面的无限滚动效果》今天我们来聊聊无限滚动这个现代Web开发中不可或缺的技术,无论你是刷微博、逛知乎还是看脚本,无限滚动都已经渗透到我们日常的浏览体验中,那么,如何优雅地实现它呢?... 目录1. 早期的解决方案2. 交叉观察者:IntersectionObserver2.1 Inter

Spring Gateway动态路由实现方案

《SpringGateway动态路由实现方案》本文主要介绍了SpringGateway动态路由实现方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随... 目录前沿何为路由RouteDefinitionRouteLocator工作流程动态路由实现尾巴前沿S