【进程地址空间】地址空间理解存在原因 | 深入理解页表写时拷贝虚拟地址

本文主要是介绍【进程地址空间】地址空间理解存在原因 | 深入理解页表写时拷贝虚拟地址,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

地址空间深入理解

划分区域

理解地址空间

地址空间存在的意义

意义1

意义2

意义3

理解页表和写时拷贝

页表

写时拷贝

OS识别错误 

理解虚拟地址

fork解释


上篇我们简单的学习了进程地址空间/页表/物理地址/虚拟地址/写时拷贝等概念。本篇深入理解下。

地址空间深入理解

划分区域

在我们初高中的时候,我们喜欢和我们同桌划分区域,是基于桌子进行区域的划分, 也可做出区域的调整。计算机语言是怎样表达的呢❓回答:结构体。

  • 地址空间本质是内核的一个struct结构体,内部很多的属性都是表示start,end的范围。
  • 地址空间浅显的理解:struct mm_struct (里面很多属性/字段/start&end)
  • 区域当中很多小的区域,每个区域都有自己的区域位置和范围,每个位置都可以被我们直接使用。不能简单的理解为限定了一段的区域范围。

 

 

理解地址空间

小故事tips:

  • 大富翁有很多个私生子(大富翁有10个亿)
  • 大富翁的私生子彼此不知道对方的存在,认为自己是独子(都认为自己可以继承这10个亿)
  • 每个私生子无论学习和工作都会向大富翁要小钱(每个人都认为相较于10个亿,自己要的钱是毛毛雨)
  • 所以,大富翁给每一个私生子画了一个大饼,承诺10个亿的遗产给他。
  • 大饼有10个亿,10个给每个私生子都是随便用。
  • 10个亿中的任何一块钱都可用。

  • 私生子:进程
  • 大富翁:操作系统OS
  • 物理内存:10个亿
  • 进程地址空间:大饼10个亿
  • 若私生子很多,大饼很多。都需要被管理起来。
  • 先描述再组织。
  • 同上,内存中任何一块空间都可以被OS使用(进程地址空间),取空间范围的下标,根据映射关系就可以找到物理内存空间了。

❗进程的地址空间的本质就是OS给进程画的大饼,告诉进程有这么多的空间范围可以使用。同时地址空间也需要被管理起来,先描述再组织。

❗每个进程都有自己的地址空间,地址空间是个结构体,结构体当中有各种代码区,数据区,各个区域(范围),各个区域的范围用来指定页表,(多个连续的地址,通过页表的映射到物理内存)

地址空间存在的意义

  • 将无序变成有序,让进程以统一的视角看待物理内存以及自己运行的各个区域。
  • 进程管理模块和内存管理模块进行解耦
  • 拦截非法请求

意义1

每个程序都有自己的代码和数据加载到物理内存(程序从磁盘加载到内存中,代码和数据不是线性存放的)。同时OS创建程序的进程控制块PCB。要求每个进程的PCB必须要记录程序的代码和数据再物理内存的位置。

  • ❗进程task_struct中记录程序的数据和代码在物理内存的位置比较有负担的
  • ❗越界访问,修改到其他进程的数据/代码情况都是存在的
  • ❗PCB记录位置是相对的,比较混乱的,OS对程序的数据/代码内存管理,调整非常不方便。
  • 不同的数据在物理内存的不同区域中。
  • 实际中的物理内存中,代码区,数据区,堆区,栈区,共享区,命令行参数和环境变量都是存在于不同的位置的。

对比增加地址空间/页表:

  • 将无序变成有序,让进程以统一的视角看待物理内存以及自己运行的各个区域。
  • 使用进程地址空间,统一,可以线性连续的访问各个区域的地址。
  • 进程地址空间的区域范围只有大小的区别。
  • 页表:虚拟地址到物理地址的映射就可以将无序变为有序。    

 

意义2

场景:

  • 假设程序的代码时2MB,现在已经执行了1MB了,还有1MB等待执行。
  • 此刻OS发现物理内存空间不够,把已经完成的1MB空间释放掉,
  • 把页表中关于部分的映射关系去掉,
  • 把已经执行的1MB的数据唤出到外设当中,使其处于挂起状态。

❗如果没有进程地址空间,那么进程当中就只有1MB的数据在物理内存中的地址信息。如果要再次使用也就没有了。

❗存在地址空间,进程地址空间仍然存在2MB的数据在物理内存中的地址信息。


  • OS在创建进程地址空间时,把数据和代码在物理内存中地址信息(虚拟地址)放到进程地址空间。
  • 申请一段堆/栈等空间(用start/end指针调整申请大小范围)
  • OS不着急申请物理内存,只有当真正的需要访问的时候才来申请物理内存,形成页表,映射关系。
  • 也就是说OS创建进程时也会开辟进程的数据/代码的虚拟地址空间,不会立刻开辟物理内存,只有当要使用物理内存的时候才会开辟。(❗提高内存的使用率)
  • 对进程进行的任何调度/管理各方面都可以稍后延迟管理/调度。
  • 如果在申请进程的地址空间的同时也申请物理内存,但没有使用。物理内存在OS层面上就相当于在没有使用的时间段被浪费了。

进程管理模块和内存管理模块进行解耦

通俗来讲,以进程的角度来申请内存只要认为地址空间的能申请即可,物理内存可等待......

意义3

  • 若进程可以直接访问物理内存的某个位置,不存在进程地址空间/页表映射这一步。若进程访问越界了,直接可能导致修改了物理内存中别的进程的数据。造成无法挽回的错误❌
  • 若存在进程物理空间/页表,访问越界,根据虚拟地址空间到页表中找不到对应的映射关系,页表和地址空间(这个查询过程)都是OS操作的。则会被OS拦截,根本不会到达物理内存。避免了无法挽回的错误✔(硬件)
  • OS会错误访问的请求直接拦截,不会涉及物理内存。防止进程向物理内存中写入错误数据,而是影响其他内存块。(拦截非法请求)

进程的地址空间不会100%的使用,只会使用地址空间一部分。空间在应用层确实存在,进程可能出现越界访问的情况(非法访问),若存在进程地址空间的存在,OS会直接拦截非法访问❌。所以的非法请求都不能通过地址空间到物理内存(保护物理内存)。

理解页表和写时拷贝

页表

  • CPU中的存在寄存器CR3:保存当前进程页表的虚拟地址。
  • CPU中的工作单位MMU(硬件)(Memory Management Unit 存储器管理单位)。
  • MMU:快速把CPU寄存器中的虚拟地址结合当前的进程的页表转化成物理地址。
  • MMU可以直接找到进程的页表。
  • 页表是非常复杂,后面我们也会慢慢讲解理解❗

  • 页表除了映射关系,还存在一些选项/字段/标记位。
  • 数据存在于物理内存当中,标记位为1;不在,为0。
  • 代码只能读,是r权限。
  • 数据只能读,是r权限;可读可写,是rw权限。

  • 物理内存严重不足,进程的代码和数据会被唤出内存,到磁盘交换分区Swap分区。进程处于挂起状态。
  • 此刻,进程的页表的标识位为0,表示不在物理内存中。
  • 权限为rw,可以读写。权限r,可以读。
  • 页表的虚拟地址保存,物理地址释放,物理内存空间也释放。虚拟地址空间仍然存在,进程仍然存在。
  • 系统/语法,同时这也是我们在Linux和windows写了一个崩溃的程序,并不影响其他进程的OS。因为这个程序的进程崩溃动作有任何向物理内存写入和影响,仅仅在地址空间和页表就被返回了(权限不允许)。如果可以写入,证明这个写入动作是合法的。

char *str = "hello world";

*str = 'H';

  • 为什么字符常量区不能被修改❓为什么只读❓
  • OS层面上保证的,字符常量在虚拟地址中通过页表映射到物理内存中,每个区域都是通过页表映射,字符常量在页表的映射关系标志位权限时只读。

写时拷贝

写时拷贝:是浅拷贝解决浅拷贝析构冲突的一种解决方案,写时拷贝也叫延时拷贝,几个对象共用一块空间,当执行读操作时不会有影响,当你需要进行写操作改变一个对象的内容时,空间的值不能被修改,会互相影响,那么就需要单独开辟一块空间将对象拷贝过去然后改,不改变就不需要开辟。

写时浅拷贝与深拷贝比较的优点:占用空间少(相同内容不开辟新空间),复制效率高。


malloc()等内存分配函数,在分配时只是建立了进程虚拟地址空间,并没有分配虚拟内存对应的物理内存。(虚拟地址是合法的)

当进程访问这些没有建立映射关系的虚拟内存时,处理器自动触发一个缺页异常

缺页中断:在请求分页系统中,可以通过查询页表中的状态位来确定所要访问的页面是否存在于内存中。每当所要访问的页面不在内存时,会产生一次缺页中断,此时操作系统会根据页表中的外存地址在外存中找到所缺的一页,将其调入内存。 

OS识别错误 

调度进程的时候,OS在地址空间/页表就识别到进程的错误有三种情况:

  • 是不是数据不在物理内存(挂起状态)(怎样判断:缺页中断)
  • 是不是数据需要写时拷贝(发生写时拷贝)(怎样判断后面讲:技术技术)
  • 如果都不是,才进行异常处理

怎么判断进程的是写时拷贝/还是非法访问❓ ☞后面讲

理解虚拟地址

  • 虚拟地址空间就是OS内核中的一个结构体,
  • 结构体当中包含了各种各样的区域/划分,
  • OS在构建加载进程时,也会进程对应的进程地址空间和页表。
  • 通过页表对非法请求进行拦截,同时也便于我们内存,
  • 我们就可以根据虚拟地址找到物理地址,好处以统一的视角看待内存,
  • 同时也会便于我们管理,提高内存的利用率。

❓在最开始的时候,地址空间/页表中的数据从哪里来(虚拟地址)

❓每个进程的代码区和数据区等的大小不一样,说明随着程序的不同,每个程序的模块区域都不一样大,都是要初始化虚拟地址从哪里来。

❓程序的编译成功形成的可执行程序.exe之后,函数名和变量名还存在吗。

不存在。全是地址。

  • 程序没有加载到内存当中的时候,全是二进制的时候,本身存在地址。
  • 对程序进行编制,这个地址就是虚拟地址(逻辑地址)
  • 在代码编译的时候,代码已经被编址过了,编址好了区域段,地址空间的内容都已经编址好了。0-4GB,天然的,线性的,平坦模式。(平坦模式编译)
  • 通俗来说,OS创建进程的地址空间时,在编译器编译程序阶段,就已经把地址空间的内容都准备好了,加载到内存中,直接使用即可。
  • 地址空间和页表的数据直接从程序读取来。
  • CPU根据物理地址找到虚拟地址,创建进程的地址空间和页表,从而让进程找到物理地址。
//命令行查看反汇编
objdump -S myprocess
objdump -S myprocess >test.c

fork解释

❓对于fork的返回值为什么返回两次

❓一个变量怎么可能既是 == 0 ,又是 > 0

  • 无论是子/父都要return,所以会return两次。
  • id原是父进程的变量
  • id本来是r权限(只能读)
  • 再fork创建子进程之后
  • id写入时,id为rw权限,发生写时拷贝
  • 则id存在两个值
  • return XXX return 的本质就是对id进行写入,发生写时拷贝❗
  • 代码用的同一个变量id,同一个变量在被编译器编译的时候,得到是同一个虚拟地址,fork创建子进程/页表/地址空间,子父指向同一个变量,当其中任何一方要return时,写入,发生写时拷贝,所以虚拟地址相同,物理内容不一样。id出现两个值的情况。
  1 #include<stdio.h>2 #include <sys/types.h>3 #include <unistd.h>4 5 int main()6 {7     pid_t id=getpid();8     pid_t parentid=getppid();9     printf("process is running,id=%d,parentid=%d\n",id,parentid);//只有父进程10     sleep(3);11     pid_t ret= fork();//创建子进程12     if(ret == -1)13     {14         return 1;15     }16     else if(ret == 0)17     {18         printf("I am child process!,pid=%d,ppid:%d\n",id,parentid);19         sleep(2);20     }                                                                          21     else//ret>022     {23         printf("I am parent process!,pid=%d,ppid:%d\n",id,parentid);24         sleep(2);25     }return 0;}

🙂感谢大家的阅读,若有错误和不足,欢迎指正。下篇Linux2.6内核进程调度队列,来学个具体的例子。

这篇关于【进程地址空间】地址空间理解存在原因 | 深入理解页表写时拷贝虚拟地址的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/927128

相关文章

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本,并kill2.1 进程查看2.2 遇到的

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

java中判断json key是否存在的几种方法

《java中判断jsonkey是否存在的几种方法》在使用Java处理JSON数据时,如何判断某一个key是否存在?本文就来介绍三种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目http://www.chinasem.cn录第一种方法是使用 jsONObject 的 has 方法

MyBatis Plus大数据量查询慢原因分析及解决

《MyBatisPlus大数据量查询慢原因分析及解决》大数据量查询慢常因全表扫描、分页不当、索引缺失、内存占用高及ORM开销,优化措施包括分页查询、流式读取、SQL优化、批处理、多数据源、结果集二次... 目录大数据量查询慢的常见原因优化方案高级方案配置调优监控与诊断总结大数据量查询慢的常见原因MyBAT

Java中实现对象的拷贝案例讲解

《Java中实现对象的拷贝案例讲解》Java对象拷贝分为浅拷贝(复制值及引用地址)和深拷贝(递归复制所有引用对象),常用方法包括Object.clone()、序列化及JSON转换,需处理循环引用问题,... 目录对象的拷贝简介浅拷贝和深拷贝浅拷贝深拷贝深拷贝和循环引用总结对象的拷贝简介对象的拷贝,把一个

MySQL8.0临时表空间的使用及解读

《MySQL8.0临时表空间的使用及解读》MySQL8.0+引入会话级(temp_N.ibt)和全局(ibtmp1)InnoDB临时表空间,用于存储临时数据及事务日志,自动创建与回收,重启释放,管理高... 目录一、核心概念:为什么需要“临时表空间”?二、InnoDB 临时表空间的两种类型1. 会话级临时表

C#使用SendMessage实现进程间通信的示例代码

《C#使用SendMessage实现进程间通信的示例代码》在软件开发中,进程间通信(IPC)是关键技术之一,C#通过调用WindowsAPI的SendMessage函数实现这一功能,本文将通过实例介绍... 目录第一章:SendMessage的底层原理揭秘第二章:构建跨进程通信桥梁2.1 定义通信协议2.2

MySQL使用EXISTS检查记录是否存在的详细过程

《MySQL使用EXISTS检查记录是否存在的详细过程》EXISTS是SQL中用于检查子查询是否返回至少一条记录的运算符,它通常用于测试是否存在满足特定条件的记录,从而在主查询中进行相应操作,本文给大... 目录基本语法示例数据库和表结构1. 使用 EXISTS 在 SELECT 语句中2. 使用 EXIS

java.sql.SQLTransientConnectionException连接超时异常原因及解决方案

《java.sql.SQLTransientConnectionException连接超时异常原因及解决方案》:本文主要介绍java.sql.SQLTransientConnectionExcep... 目录一、引言二、异常信息分析三、可能的原因3.1 连接池配置不合理3.2 数据库负载过高3.3 连接泄漏

Three.js构建一个 3D 商品展示空间完整实战项目

《Three.js构建一个3D商品展示空间完整实战项目》Three.js是一个强大的JavaScript库,专用于在Web浏览器中创建3D图形,:本文主要介绍Three.js构建一个3D商品展... 目录引言项目核心技术1. 项目架构与资源组织2. 多模型切换、交互热点绑定3. 移动端适配与帧率优化4. 可