写时复制(COW)详解

2023-11-09 18:10
文章标签 详解 cow 复制 写时

本文主要是介绍写时复制(COW)详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、写时复制简介

写时复制Copy-on-write,简称COW)是一种计算机程序设计领域的优化策略。其核心思想是,如果有多个调用者(callers)同时请求相同资源(如内存或磁盘上的数据存储),他们会共同获取相同的指针指向相同的资源,直到某个调用者试图修改资源的内容时,系统才会真正复制一份专用副本(private copy)给该调用者,而其他调用者所见到的最初的资源仍然保持不变。这过程对其他的调用者都是透明的。此作法主要的优点是如果调用者没有修改该资源,就不会有副本(private copy)被创建,因此多个调用者只是读取操作时可以共享同一份资源。

2、用途:

虚拟内存管理中的写时复制

一般把这种被共享访问的页面标记为只读。当一个task试图向内存中写入数据时,内存管理单元(MMU)抛出一个异常,内核处理该异常时为该task分配一份物理内存并复制数据到此内存,重新向MMU发出执行该task的写操作。

数据存储中的写时复制

Linux等的文件管理系统使用了写时复制策略。

数据库服务器也一般采用了写时复制策略,为用户提供一份snapshot。

软件应用中的写时复制

C++标准程序库中的std::string类,在C++98/C++03标准中是允许写时复制策略。但在C++11标准中为了提高并行性取消了这一策略。[1] GCC从版本5开始,std::string不再采用COW策略。

3、写时复制详解

COW是存储系统中使用的基本更新策略之一(还有就地更新(UIP))。基本模式永远不会覆盖旧数据。使用COW策略更新数据块时,数据块被读入内存,进行修改,然后写入新位置,而旧数据则保持不变。由于COW永远不会覆盖旧数据,因此通常用于防止由于本地文件系统中的系统崩溃而导致数据丢失,COW更新策略已在存储系统中广泛使用

但是COW引入了令人不愉快的递归更新过程。文件系统可以看作是由磁盘块组成的大树,当使用COW策略修改叶块时,还需要修改其父节点以更新修改后的子块的新位置。此更新过程将递归进行,直到到达根块为止,该根块可以在磁盘上的固定位置进行更新。我们将这样的过程定义为递归更新。递归更新可能会导致存储系统出现多种副作用,例如WRITE放大,I / O模式变更和性能下降

缺点:

  1. 放大:递归更新可能会导致写放大,比如应用程序只需要修改一个叶子数据块F 但是,递归更新导致总共修改了四个父级节点(F->D->A->Root)。实际刷新的数据高达4 × 请求的数据。实际上,由于在这种情况下忽略了由块分配引起的递归更新,因此修改的块数量可能会更高。
  2. 性能下降 WRITE放大会引入其他数据以进行写入,这最终可能会降低文件系统的性能。

优点:

  1. 保护数据:本地文件系统.由于有备份机制,不会因为文件系统崩溃导致大量甚至全部数据丢失.
  2. 提高性能:日志结构的文件系统,例如Sprite LFS,使用COW更新策略将访问模式从大量的小随机写入转换为单个大的顺序WRITE,从而利用了磁盘顺序I / O带来的高性能。
  3. 在特殊介质上更新数据:一次写入多次读取的介质,例如光盘,使用COW实施随机WRITE。闪存文件系统使用COW优化更新过程,这有助于提高WRITE性能并实现损耗均衡。

4、fork和cow

cow是一种优化策略,fork是linux提供的创建新线程的方法,大多数的fork实现借用了cow策略来节省内存空间.

子进程和父进程继续执行fork之后的指令。子进程是父进程的复制品。例如,子进程获得
父进程数据空间、堆和栈的复制品。注意,这是子进程所拥有的拷贝。父、子进程并不共享这
些存储空间部分。如果正文段是只读的,则父、子进程共享正文段 ,
现在很多的实现并不做一个父进程数据段和堆的完全拷贝,因为在fork之后经常跟随着

exec。作为替代,使用了在写时复制技术。这些区域由父、子进程共

享,而且内核将它们的存取许可权改变为只读的。如果有进程试图修改这些区域,则内核为有
关部分,典型的是虚存系统中的“页” .

fork细节:一般来说,在fork之后是父进程先执行还是子进程先执行是不确定的。这取决于内核所使用的

调度算法。如果要求父、子进程之间相互同步,则要求某种形式的进程间通信

总结:所以在使用fork在借用cow策略实现时,其实父子进程会共享数据段、代码段、堆,而栈是父子进程独有的.

5、vfork和fork

vfork也用于创建一个新进程,而该新进程的目的是调用exec执行一个新程序。但vfork它并不将父进程的地址空间完全复制到子进程中,因为子进程会立即调用 exec(exit),于

是也就不会存访该地址空间。不过在子进程调用 exec或exit之前,它在父进程的空间中运行。
这种工作方式在某些 U N I X的页式虚存实现中提高了效率(和fork类似即:在fork之后跟随
exec,并采用在写时复制技术相类似) 。
vfork和fork之间的另一个区别是:vfork保证子进程先运行,在它调用exec或exit之后父进
程才可能被调度运行。 (如果在调用这两个函数之前子进程依赖于父进程的进一步动作,则会
导致死锁。子进程在exec和exit之前其实运行在父进程的内存空间,所以子进程的数据操作其实是在修改父进程的对应数据.操作不当有可能导致进程崩溃.所以vfork之后建议立即执行exec或exit

tips:UIP是将目标块读入内存,进行修改,然后在其原始位置写入磁盘(覆盖旧数据)

引用:
1.https://en.wikipedia.org/wiki/Copy-on-write

2.https://ieeexplore.ieee.org/abstract/document/6879362/similar#similar

3.《unix环境高级编程第8章》

 干货将在我的微信公众号:小梁编程汇 持续更新。喜欢的话可以关注我微信公众哦
                                在这里插入图片描述

这篇关于写时复制(COW)详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/lqycwr/article/details/122418238
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/377756

相关文章

python3 pip终端出现错误解决的方法详解

《python3pip终端出现错误解决的方法详解》这篇文章主要为大家详细介绍了python3pip如果在终端出现错误该如何解决,文中的示例方法讲解详细,感兴趣的小伙伴可以跟随小编一起了解一下... 目录前言一、查看是否已安装pip二、查看是否添加至环境变量1.查看环境变量是http://www.cppcns

Go 语言中的 Struct Tag 的用法详解

《Go语言中的StructTag的用法详解》在Go语言中,结构体字段标签(StructTag)是一种用于给字段添加元信息(metadata)的机制,常用于序列化(如JSON、XML)、ORM映... 目录一、结构体标签的基本语法二、json:"token"的具体含义三、常见的标签格式变体四、使用示例五、使用

Swagger2与Springdoc集成与使用详解

《Swagger2与Springdoc集成与使用详解》:本文主要介绍Swagger2与Springdoc集成与使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1. 依赖配置2. 基础配置2.1 启用 Springdoc2.2 自定义 OpenAPI 信息3.

mysql中的group by高级用法详解

《mysql中的groupby高级用法详解》MySQL中的GROUPBY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算,本文给大家介绍mysql中的groupby... 目录一、基本语法与核心功能二、基础用法示例1. 单列分组统计2. 多列组合分组3. 与WHERE结合使

Spring 缓存在项目中的使用详解

《Spring缓存在项目中的使用详解》Spring缓存机制,Cache接口为缓存的组件规范定义,包扩缓存的各种操作(添加缓存、删除缓存、修改缓存等),本文给大家介绍Spring缓存在项目中的使用... 目录1.Spring 缓存机制介绍2.Spring 缓存用到的概念Ⅰ.两个接口Ⅱ.三个注解(方法层次)Ⅲ.

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp

Spring Cache注解@Cacheable的九个属性详解

《SpringCache注解@Cacheable的九个属性详解》在@Cacheable注解的使用中,共有9个属性供我们来使用,这9个属性分别是:value、cacheNames、key、key... 目录1.value/cacheNames 属性2.key属性3.keyGeneratjavascriptor

PyTorch中cdist和sum函数使用示例详解

《PyTorch中cdist和sum函数使用示例详解》torch.cdist是PyTorch中用于计算**两个张量之间的成对距离(pairwisedistance)**的函数,常用于点云处理、图神经网... 目录基本语法输出示例1. 简单的 2D 欧几里得距离2. 批量形式(3D Tensor)3. 使用不

Python模拟串口通信的示例详解

《Python模拟串口通信的示例详解》pySerial是Python中用于操作串口的第三方模块,它支持Windows、Linux、OSX、BSD等多个平台,下面我们就来看看Python如何使用pySe... 目录1.win 下载虚www.chinasem.cn拟串口2、确定串口号3、配置串口4、串口通信示例5

Nginx 413修改上传文件大小限制的方法详解

《Nginx413修改上传文件大小限制的方法详解》在使用Nginx作为Web服务器时,有时会遇到客户端尝试上传大文件时返回​​413RequestEntityTooLarge​​... 目录1. 理解 ​​413 Request Entity Too Large​​ 错误2. 修改 Nginx 配置2.1