jemalloc原理概览

2023-10-13 07:08
文章标签 原理 概览 jemalloc

本文主要是介绍jemalloc原理概览,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

jemalloc在linux的世界里声名鹊起,并被移植到多个平台。后起之秀的tcmalloc性能与之相近,虽有谷歌这个牛爹,但因jemalloc专美在前,tcmalloc的使用范围还是略逊一筹。网络上关于jemalloc的各种解读很多,不再一一赘述,这里 挑一些关键点来分析。

一、地址访问
malloc和free的第一个参数都是内存地址,如何快速定位到该地址所属的内存块基址呢,在高频内存分配中,这是第一 要务。jemalloc使用一个简单的技巧,chunk = addr & (~chunksize_mask) ,确保寻址O(1)就能完成。在这个公式中,有一个很隐晦的前提是,chunk的地址,必须能够满足类似0xaabb0000这样格式,其尾部0的数量要大于等于chunksize_mask的F的数量。
jemalloc在分配时,会做这样的尝试,alloc_size = size + aligment - PAGE_SIZE,然后去掉头部,保证chunk地址满足这样的条件。如果不能,则将多余的内存地址还给系统。

二、内存页管理
小对象可以用技巧映射到chunk,对于chunk寻址就没有办法用上面这招了。jemalloc用三层基数树,所以查找效率还是相当高的,只是增删除改查时,需要加锁。加锁会影响效率,当因为次数比较少,倒不会有太大的影响。需要注意的是,jemalloc的这个全局基数树的节点在分配之后,是不释放的,直到最终进程退出。jemalloc从系统中,每次都是以4M为基准申请的。

三、长度对齐
在实际场景中,请求分配字节大小是随机的,如果按照真实大小分配,容易引起内存页缺失中断,因此需要字节对齐。在jemalloc中,并不是固定字节对齐,而是按照如下表的逻辑:
序号
大小区间
字节对齐
0
[0--16]
8
1
(16 , 128]
16
2
(128 , 256]
32
3
(256 , 512]
64

四、线程竞争
在内存分配过程中,锁会造成线程等待,对性能影响巨大。jemalloc采用了两种措施避免线程竞争锁的发生,
1、使用线程变量,每个线程有自己的内存管理器,分配在这个线程内完成,就不需要和其他线程竞争。
2、竞技场,分配一个数组,每个线程通过线程号的映射,对应到一个数组元素中。这样,多个线程竞争一个元素的概率就下降。
有点令人诧异的是,jemalloc使用原子操作基本没有,锁都是用粒度较大的mutex。只有需要较长等待时,比如陷入系统时才有必要用这种粗粒度的锁。和竞技场相关的资料颇多,可以在网上找找。

五、分配流程
我们假设一个应用场景,要分配一个大小为SIZE的内存块,那么流程如下:
1、选定一个arena或者tcache。
2、计算对应的对齐长度,见第三节,根据对齐长度,计算出arena中bins的下标。
3、在一个bins中,如果runccur可用,则在runcur中分配,否则从runs中选择一个。
4、从选定的run中,计算bitmap,得到空闲的region,后返回。



这篇关于jemalloc原理概览的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/201558

相关文章

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

Mysql的主从同步/复制的原理分析

《Mysql的主从同步/复制的原理分析》:本文主要介绍Mysql的主从同步/复制的原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录为什么要主从同步?mysql主从同步架构有哪些?Mysql主从复制的原理/整体流程级联复制架构为什么好?Mysql主从复制注意

Nacos注册中心和配置中心的底层原理全面解读

《Nacos注册中心和配置中心的底层原理全面解读》:本文主要介绍Nacos注册中心和配置中心的底层原理的全面解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录临时实例和永久实例为什么 Nacos 要将服务实例分为临时实例和永久实例?1.x 版本和2.x版本的区别

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源(如数据库连接、线程、网络连接)优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解(以数据库连接池为例)三、高级配置与优化四、典型应用场景五、注意事

电脑系统Hosts文件原理和应用分享

《电脑系统Hosts文件原理和应用分享》Hosts是一个没有扩展名的系统文件,当用户在浏览器中输入一个需要登录的网址时,系统会首先自动从Hosts文件中寻找对应的IP地址,一旦找到,系统会立即打开对应... Hosts是一个没有扩展名的系统文件,可以用记事本等工具打开,其作用就是将一些常用的网址域名与其对应

Dubbo之SPI机制的实现原理和优势分析

《Dubbo之SPI机制的实现原理和优势分析》:本文主要介绍Dubbo之SPI机制的实现原理和优势,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Dubbo中SPI机制的实现原理和优势JDK 中的 SPI 机制解析Dubbo 中的 SPI 机制解析总结Dubbo中

Android与iOS设备MAC地址生成原理及Java实现详解

《Android与iOS设备MAC地址生成原理及Java实现详解》在无线网络通信中,MAC(MediaAccessControl)地址是设备的唯一网络标识符,本文主要介绍了Android与iOS设备M... 目录引言1. MAC地址基础1.1 MAC地址的组成1.2 MAC地址的分类2. android与I

Spring框架中@Lazy延迟加载原理和使用详解

《Spring框架中@Lazy延迟加载原理和使用详解》:本文主要介绍Spring框架中@Lazy延迟加载原理和使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、@Lazy延迟加载原理1.延迟加载原理1.1 @Lazy三种配置方法1.2 @Component

spring IOC的理解之原理和实现过程

《springIOC的理解之原理和实现过程》:本文主要介绍springIOC的理解之原理和实现过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、IoC 核心概念二、核心原理1. 容器架构2. 核心组件3. 工作流程三、关键实现机制1. Bean生命周期2.

Redis实现分布式锁全解析之从原理到实践过程

《Redis实现分布式锁全解析之从原理到实践过程》:本文主要介绍Redis实现分布式锁全解析之从原理到实践过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、背景介绍二、解决方案(一)使用 SETNX 命令(二)设置锁的过期时间(三)解决锁的误删问题(四)Re