用LD_PRELOAD加载jemalloc

2024-02-19 05:48
文章标签 加载 ld preload jemalloc

本文主要是介绍用LD_PRELOAD加载jemalloc,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在使用CentOS 7.6,用LD_PRELOAD方法测试了一下jemalloc 和 glibc自带的malloc的性能,发现的确更好。

为何没有测试 tcmalloc?因为从网上查了一下,tcmalloc 和 jemalloc的对比 (原文) :

  • 作为基础库的ptmalloc是最为稳定的内存管理器,无论在什么环境下都能适应,但是分配效率相对较低。
  • tcmalloc针对多核情况有所优化,性能有所提高,但是内存占用稍高,大内存分配容易出现CPU飙升。
  • jemalloc的内存占用更高,但是在多核多线程下的表现也最为优异。

测试使用的方法如下:

$ LD_PRELOAD=./libjemalloc.so.2 ./my_app

在上线使用时,因为我们的程序是用pyhton脚本启动。之前的启动方式为:

pipe = subprocess.Popen(["./my_app", path], stdin=subprocess.PIPE, stdout=output, shell=False)

现在需要在子进程的环境变量中添加 LD_PRELOAD , 因此修改为:

env_dict = os.environ.copy()
env_dict['LD_PRELOAD'] = './libjemalloc.so.2'
pipe = subprocess.Popen(["./my_app", path], stdin=subprocess.PIPE, stdout=output, shell=False, env=env_dict)

在脚本运行后,我们需要查看一下jemalloc是否被成功加载。可以用 lsofpmap

$ lsof <pid>
$ pmap <pid>

下面是查看我的程序加载jemalloc后的情况:

$ ps -ef | grep my_app
$ pmap 10095
...
00007f6c0b4c5000     92K r-x-- libpthread-2.17.so
00007f6c0b4dc000   2044K ----- libpthread-2.17.so
00007f6c0b6db000      4K r---- libpthread-2.17.so
00007f6c0b6dc000      4K rw--- libpthread-2.17.so
00007f6c0b6dd000     16K rw---   [ anon ]
00007f6c0b6e1000    660K r-x-- libzmq.so
00007f6c0b786000   2048K ----- libzmq.so
00007f6c0b986000     24K r---- libzmq.so
00007f6c0b98c000      8K rw--- libzmq.so
00007f6c0b98e000   1680K r-x-- libEI6.so
00007f6c0bb32000   2044K ----- libEI6.so
00007f6c0bd31000     12K r---- libEI6.so
00007f6c0bd34000     24K rw--- libEI6.so
00007f6c0bd3a000    468K r-x-- libjemalloc.so.2
00007f6c0bdaf000   2048K ----- libjemalloc.so.2
00007f6c0bfaf000     20K r---- libjemalloc.so.2
00007f6c0bfb4000      4K rw--- libjemalloc.so.2
00007f6c0bfb5000   2124K rw---   [ anon ]
00007f6c0c1c8000    136K r-x-- ld-2.17.so
...

好,jemalloc已经成功加载。

延伸阅读:
在运行前,可以使用 ldd <program_name> 命令来查看程序所依赖的动态库。
可以使用 ldd -r <program name> 可以像Windows下的 depends.exe 一样查看是否有未定义的符号。

延伸阅读2:
如果要在编译时连接jemalloc,除了指定链接库的目录和名称之外,还需要为gcc 指定如下编译参数:
-fno-builtin-malloc
-fno-builtin-calloc
-fno-builtin-realloc
-fno-builtin-free

这篇关于用LD_PRELOAD加载jemalloc的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/723674

相关文章

springboot加载不到nacos配置中心的配置问题处理

《springboot加载不到nacos配置中心的配置问题处理》:本文主要介绍springboot加载不到nacos配置中心的配置问题处理,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录springboot加载不到nacos配置中心的配置两种可能Spring Boot 版本Nacos

使用Python获取JS加载的数据的多种实现方法

《使用Python获取JS加载的数据的多种实现方法》在当今的互联网时代,网页数据的动态加载已经成为一种常见的技术手段,许多现代网站通过JavaScript(JS)动态加载内容,这使得传统的静态网页爬取... 目录引言一、动态 网页与js加载数据的原理二、python爬取JS加载数据的方法(一)分析网络请求1

IDEA下"File is read-only"可能原因分析及"找不到或无法加载主类"的问题

《IDEA下Fileisread-only可能原因分析及找不到或无法加载主类的问题》:本文主要介绍IDEA下Fileisread-only可能原因分析及找不到或无法加载主类的问题,具有很好的参... 目录1.File is read-only”可能原因2.“找不到或无法加载主类”问题的解决总结1.File

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

在 PyQt 加载 UI 三种常见方法

《在PyQt加载UI三种常见方法》在PyQt中,加载UI文件通常指的是使用QtDesigner设计的.ui文件,并将其转换为Python代码,以便在PyQt应用程序中使用,这篇文章给大家介绍在... 目录方法一:使用 uic 模块动态加载 (不推荐用于大型项目)方法二:将 UI 文件编译为 python 模

Spring框架中@Lazy延迟加载原理和使用详解

《Spring框架中@Lazy延迟加载原理和使用详解》:本文主要介绍Spring框架中@Lazy延迟加载原理和使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、@Lazy延迟加载原理1.延迟加载原理1.1 @Lazy三种配置方法1.2 @Component

SpringBoot中配置文件的加载顺序解读

《SpringBoot中配置文件的加载顺序解读》:本文主要介绍SpringBoot中配置文件的加载顺序,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot配置文件的加载顺序1、命令⾏参数2、Java系统属性3、操作系统环境变量5、项目【外部】的ap

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio

SpringBoot项目启动报错"找不到或无法加载主类"的解决方法

《SpringBoot项目启动报错找不到或无法加载主类的解决方法》在使用IntelliJIDEA开发基于SpringBoot框架的Java程序时,可能会出现找不到或无法加载主类com.example.... 目录一、问题描述二、排查过程三、解决方案一、问题描述在使用 IntelliJ IDEA 开发基于

Android WebView无法加载H5页面的常见问题和解决方法

《AndroidWebView无法加载H5页面的常见问题和解决方法》AndroidWebView是一种视图组件,使得Android应用能够显示网页内容,它基于Chromium,具备现代浏览器的许多功... 目录1. WebView 简介2. 常见问题3. 网络权限设置4. 启用 JavaScript5. D