Linux brk(),mmap()系统调用源码分析3：brk()的内存申请流程

2023-10-14 06:58
文章标签 分析 linux 源码 系统 流程 内存 调用 申请 mmap brk

本文主要是介绍Linux brk(),mmap()系统调用源码分析3：brk()的内存申请流程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Linux brk(),mmap()系统调用源码分析
brk()的内存申请流程


荣涛
2021年4月30日

  • 内核版本：linux-5.10.13
  • 注释版代码：https://github.com/Rtoax/linux-5.10.13

1. 基础部分

在之前文章中已经介绍了基础部分 《Linux内存管理 brk(),mmap()系统调用源码分析1：基础部分》，本文介绍brk的释放部分。

2. brk内存释放

在之前文章中已经介绍了brk内存释放过程《Linux内存管理 brk(),mmap()系统调用源码分析2：brk()的内存释放流程》

3. brk内存申请

本文介绍申请流程。如果新的 brk 位置高于 旧的 brk 位置，首先会查找旧brk所在的vma的下一个vma结构：

	next = find_vma(mm, oldbrk);if (next && newbrk + PAGE_SIZE > vm_start_gap(next))goto out;

如果下一个vma结构存在，并且新的brk+pagesize落在vma上，那么说明现在的brk满足要求，直接返回就行了，如果不是，就迎来了do_brk_flags。

4. do_brk_flags

函数原型为：

static int do_brk_flags(unsigned long addr, unsigned long len, unsigned long flags, struct list_head *uf)

入参分别为：起始地址，长度，标志。

函数是这么调用的do_brk_flags(oldbrk, newbrk-oldbrk, 0, &uf)，该函数基本上是释放流程的逆向操作，这里只就几个核心的函数进行讲解，第一个get_unmapped_area。

4.1. get_unmapped_area

brk系统调用肯定不是文件，所以file=NULL，

get_unmapped_area(NULL, addr, len, 0, MAP_FIXED);

MAP_FIXED：准确解释地址，如果addr和len指定的内存区域与任何现有映射的页面重叠，则现有映射的重叠部分将被丢弃.

首先调用arch_mmap_check，在x86下为0。接下来获取未映射区域，这区分了mmap类型：

	get_area = current->mm->get_unmapped_area;if (file) { /* 如果是文件映射 */if (file->f_op->get_unmapped_area)get_area = file->f_op->get_unmapped_area;} else if (flags & MAP_SHARED) {    /* 如果是共享的映射 *//** mmap_region() will call shmem_zero_setup() to create a file,* so use shmem's get_unmapped_area in case it can be huge.* do_mmap() will clear pgoff, so match alignment.*/pgoff = 0;get_area = shmem_get_unmapped_area; /* 共享 */}

首先从mm结构中获取了get_unmapped_area函数指针，这个指针牛的一批，在arch\x86\kernel\sys_x86_64.c里，通过函数指针调用addr = get_area(file, addr, len, pgoff, flags);。

4.2. arch_get_unmapped_area

该结构是在arch_pick_mmap_layout函数中被赋予get_unmapped_area指针的，如下：

void arch_pick_mmap_layout(struct mm_struct *mm, struct rlimit *rlim_stack)
{if (mmap_is_legacy())mm->get_unmapped_area = arch_get_unmapped_area;elsemm->get_unmapped_area = arch_get_unmapped_area_topdown;...

https://www.kernel.org/doc/gorman/html/understand/understand021.html#func:%20arch_get_unmapped_area

函数不长，但是操作很骚。先看参数：

do_brk_flags(oldbrk, newbrk-oldbrk, 0, &uf)get_unmapped_area(NULL, addr, len, 0, MAP_FIXED);get_area(file, addr, len, pgoff, flags); -> arch_get_unmapped_areaarch_get_unmapped_areafind_start_endget_mmap_basevm_unmapped_areaunmapped_area
  • file=NULL;
  • addr=oldbrk;
  • len=newbrk-oldbrk;
  • pgoff=0;
  • flags=MAP_FIXED;(准确解释地址，如果addr和len指定的内存区域与任何现有映射的页面重叠，则现有映射的重叠部分将被丢弃.)

使用find_start_end获取begin和end：

static void find_start_end(unsigned long addr, unsigned long flags,unsigned long *begin, unsigned long *end)
{if (!in_32bit_syscall() && (flags & MAP_32BIT)) {   /* 32 位 *//* This is usually used needed to map code in smallmodel, so it needs to be in the first 31bit. Limitit to that.  This means we need to move theunmapped base down for this case. This can giveconflicts with the heap, but we assume that glibcmalloc knows how to fall back to mmap. Give it 1GBof playground for now. -AK */*begin = 0x40000000;*end = 0x80000000;if (current->flags & PF_RANDOMIZE) {*begin = randomize_page(*begin, 0x02000000);}return;}*begin	= get_mmap_base(1); /*  */if (in_32bit_syscall())*end = task_size_32bit();else*end = task_size_64bit(addr > DEFAULT_MAP_WINDOW);
}

首先判断如果不是32bit系统调用!in_32bit_syscall()并且设置了标记位(flags & MAP_32BIT)，之类不成立，因为flags值为MAP_FIXED，那么接下来会执行*begin = get_mmap_base(1);。这个函数get_mmap_base直接返回is_legacy ? mm->mmap_legacy_base : mm->mmap_base;也就是mm->mmap_legacy_base，这个值等于几？他是在arch_pick_mmap_base设置的，在文章mmap随机化中有解释，也就是是否将mmap随机化，这是在一个漏洞的解决方法，此处不所解释，感兴趣可以参考一篇论文《Meltdown(熔断漏洞)- Reading Kernel Memory from User Space/KASLR | 原文+中文翻译》。
接着，调用task_size_64bit获取end地址。

然后判断长度：

	if (len > end)return -ENOMEM;

如果已存在，直接返回：

	if (addr) {addr = PAGE_ALIGN(addr);    /* 对齐 */vma = find_vma(mm, addr);   /* 查找对应 vma */if (end - len >= addr &&(!vma || addr + len <= vm_start_gap(vma)))return addr;}

接着是对数据结构vm_unmapped_area_info的填充

struct vm_unmapped_area_info {  /*  */
#define VM_UNMAPPED_AREA_TOPDOWN 1unsigned long flags;unsigned long length;unsigned long low_limit;unsigned long high_limit;unsigned long align_mask;unsigned long align_offset;
};

它是这么填充的：

	info.flags = 0;info.length = len;info.low_limit = begin;info.high_limit = end;info.align_mask = 0;info.align_offset = pgoff << PAGE_SHIFT;if (filp) {info.align_mask = get_align_mask();info.align_offset += get_align_bits();}

接着调用vm_unmapped_area，其调用unmapped_area(flags=0)

4.3. unmapped_area

这里的入参为：

  • file=NULL;
  • addr=oldbrk;
  • len=newbrk-oldbrk;
  • pgoff=0;
  • flags=MAP_FIXED;

他的操作在函数注释中给出：

/** We implement the search by looking for an rbtree node that* immediately follows a suitable gap. That is,* - gap_start = vma->vm_prev->vm_end <= info->high_limit - length;* - gap_end   = vma->vm_start        >= info->low_limit  + length;* - gap_end - gap_start >= length*/

接着get_unmapped_area返回，并进行合法性判断：

	mapped_addr = get_unmapped_area(NULL, addr, len, 0, MAP_FIXED);if (IS_ERR_VALUE(mapped_addr))  /* unlikely */return mapped_addr;

4.4. munmap_vma_range

该函数的注释为

munmap VMAs that overlap a range.
/* Clear old maps, set up prev, rb_link, rb_parent, and uf */

在这，我发现一个问题，find_vma_links函数永远不会返回真值，那么此处的while的作用是什么呢？

static inline int
munmap_vma_range(struct mm_struct *mm, unsigned long start, unsigned long len,struct vm_area_struct **pprev, struct rb_node ***link,struct rb_node **parent, struct list_head *uf)
{/*  */while (find_vma_links(mm, start, start + len, pprev, link, parent))if (do_munmap(mm, start, len, uf))return -ENOMEM;return 0;
}

这里具体关于mm的操作可以参考函数copy_mm、dup_mm、vm_area_dup。

4.5. may_expand_vm

/** Return true if the calling process may expand its vm space by the passed* number of pages*/
bool may_expand_vm(struct mm_struct *mm, vm_flags_t flags, unsigned long npages)
{/* 检查映射的页数有没有超限 */if (mm->total_vm + npages > rlimit(RLIMIT_AS) >> PAGE_SHIFT)return false;/* 数据 mapping 1.在 brk系统调用传入的是0，此代码不执行*/if (is_data_mapping(flags) &&mm->data_vm + npages > rlimit(RLIMIT_DATA) >> PAGE_SHIFT) {/* Workaround for Valgrind */if (rlimit(RLIMIT_DATA) == 0 &&mm->data_vm + npages <= rlimit_max(RLIMIT_DATA) >> PAGE_SHIFT)return true;pr_warn_once("%s (%d): VmData %lu exceed data ulimit %lu. Update limits%s.\n",current->comm, current->pid,(mm->data_vm + npages) << PAGE_SHIFT,rlimit(RLIMIT_DATA),ignore_rlimit_data ? "" : " or use boot option ignore_rlimit_data");if (!ignore_rlimit_data)return false;}return true;
}

接下来检查系统配置，是否映射数量超限：

    /* 检查sysctl */if (mm->map_count > sysctl_max_map_count)return -ENOMEM;

4.6. vma_merge

brk 此处不对其进行讲解，将在mprotect系统调用中讲解。

4.7. vma_link

接下来，分配新的vma结构，并且填充响应的数据，并将vma添加至mm结构的链表和红黑树中：

	/** create a vma struct for an anonymous mapping*/vma = vm_area_alloc(mm);    /* 分配这个结构 */if (!vma) {vm_unacct_memory(len >> PAGE_SHIFT);return -ENOMEM;}vma_set_anonymous(vma);     /* 匿名vma */vma->vm_start = addr;       /* start */vma->vm_end = addr + len;   /* end */vma->vm_pgoff = pgoff;      /* 页内偏移 */vma->vm_flags = flags;      /* 标志 */vma->vm_page_prot = vm_get_page_prot(flags);    /* VMA 的权限 */vma_link(mm, vma, prev, rb_link, rb_parent);    /* 插入 */

其中vm_link函数：

static void vma_link(struct mm_struct *mm, struct vm_area_struct *vma,struct vm_area_struct *prev, struct rb_node **rb_link,struct rb_node *rb_parent)
{struct address_space *mapping = NULL;if (vma->vm_file) { /* 文件映射 */mapping = vma->vm_file->f_mapping;i_mmap_lock_write(mapping);}__vma_link(mm, vma, prev, rb_link, rb_parent);  /* 添加至链表和红黑树 */__vma_link_file(vma);   /* 文件映射的话，更新缓存 */if (mapping)i_mmap_unlock_write(mapping);mm->map_count++;    /* 映射计数++ */validate_mm(mm);    /*  */
}

这里的validate_mm在本文中不做过多讲解，将在后续文章中详细解说。

4.8. perf_event_mmap

brk 此处不对其进行讲解，将在手续文章中进行讲解。

然后，对mm结构字段进行更新：

	mm->total_vm += len >> PAGE_SHIFT;  /* 共映射的页数计数 */mm->data_vm += len >> PAGE_SHIFT;   /* 数据映射计数 */if (flags & VM_LOCKED)mm->locked_vm += (len >> PAGE_SHIFT);   /* 锁定的页面计数 */vma->vm_flags |= VM_SOFTDIRTY;return 0;

至此，do_brk_flags就返回了。接着，更新brk位置：

mm->brk = brk;

4.9. mm_populate

brk 此处不对其进行讲解，将在手续文章中进行讲解。

至此brk系统调用就返回至用户态程序。

5. 相关链接

  • https://www.cs.unc.edu/~porter/courses/cse506/f12/slides/address-spaces.pdf
  • https://stackoverflow.com/questions/14943990/overlapping-pages-with-mmap-map-fixed
  • 《Linux内存管理 brk(),mmap()系统调用源码分析1：基础部分》
  • 《Linux内存管理 brk(),mmap()系统调用源码分析2：brk()的内存释放流程》
  • 内核实现mmap的关键点-get_unmapped_area
  • mmap随机化
  • Meltdown(熔断漏洞)- Reading Kernel Memory from User Space/KASLR | 原文+中文翻译

这篇关于Linux brk(),mmap()系统调用源码分析3：brk()的内存申请流程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/208874。

相关文章

SpringBoot整合Flowable实现工作流的详细流程

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4
阅读更多...
C++高效内存池实现减少动态分配开销的解决方案

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现：TCMalloc与Jemalloc1. TCM
阅读更多...
Linux脚本(shell)的使用方式

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》：本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量：定义、赋值自定义变量：引用、修改、删
阅读更多...
java Long 与long之间的转换流程

java Long 与long之间的转换流程

《javaLong与long之间的转换流程》Long类提供了一些方法,用于在long和其他数据类型（如String）之间进行转换,本文将详细介绍如何在Java中实现Long和long之间的转换,感... 目录概述流程步骤1：将long转换为Long对象步骤2：将Longhttp://www.cppcns.c
阅读更多...
MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结：常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis
阅读更多...
Python主动抛出异常的各种用法和场景分析

Python主动抛出异常的各种用法和场景分析

《Python主动抛出异常的各种用法和场景分析》在Python中,我们不仅可以捕获和处理异常,还可以主动抛出异常,也就是以类的方式自定义错误的类型和提示信息,这在编程中非常有用,下面我将详细解释主动抛... 目录一、为什么要主动抛出异常？二、基本语法：raise关键字基本示例三、raise的多种用法1. 抛
阅读更多...
Redis过期删除机制与内存淘汰策略的解析指南

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略（Key Expir
阅读更多...
Linux链表操作方式

Linux链表操作方式

《Linux链表操作方式》：本文主要介绍Linux链表操作方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、链表基础概念与内核链表优势二、内核链表结构与宏解析三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势六、典型应用场景七、调试技巧与
阅读更多...
基于Python实现一个简单的题库与在线考试系统

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构
阅读更多...
详解Linux中常见环境变量的特点与设置

详解Linux中常见环境变量的特点与设置

《详解Linux中常见环境变量的特点与设置》环境变量是操作系统和用户设置的一些动态键值对,为运行的程序提供配置信息,理解环境变量对于系统管理、软件开发都很重要,下面小编就为大家详细介绍一下吧... 目录前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2