高性能计算应用优化之IO调优

2024-09-03 10:52

本文主要是介绍高性能计算应用优化之IO调优,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

IO调优

IO是应用程序进行结果输出的主要方式,也是程序运行开销最大的部分。大规模并行程序通常需要多个处理器同时执行任务,处理大量的数据,处理器的速度日新月异,而IO操作的速度并没有同步提升,导致IO成为了程序运行的瓶颈。尤其在分布式环境中,IO操作更加复杂和耗时,对程序性能造成了严重影响。

因此,大规模并行程序中的IO操作已经成为了运行的最大瓶颈,需要采取相应的优化措施来减少IO操作对程序性能的影响。例如,采用异步IO、缓存、数据压缩等技术来提高IO操作的效率。

程序编写中IO的基本原则

在文件打开和关闭期间,需要遵循如下原则。首先,以正确的模式打开文件。如果文件仅用于读取,则必须以只读模式打开,因为选择正确的模式可以使系统应用优化并仅分配必要的资源。其次,不要过于频繁地打开和关闭文件,因为这涉及到许多系统调用操作。最好的方法是在第一次需要时打开文件,只有在足够长的时间内不需要使用时才关闭文件。最后,限制同时打开的文件的数量,因为对于每个打开的文件,系统必须分配和管理一些资源。

在文件读写期间,需要遵循如下原则。首先,在一个读写调用中写入/读取全部数组/数据结构,而不是每个元素进行一次读写操作。否则将会产生大量系统调用,对I/O性能产生负面影响。其次,避免多个进程打开同一个文件用于写入,在并行程序中,更常见的方法是依据MPI进程号为每个进程建立一个文件,每个进程分别读写其对应的文件。因为文件元数据的操作可能需要串行化的锁机制。最后,在MPI程序中可以使用非阻塞MPI I/O调用,或使用基于MPI-I/O的高级库(HDF5、ADIOS、SIONlib、PNetCDF等)。最后,充分借助缓冲区所带来的性能增益。当FORT_BUFFERED设置为1(TRUE)时,该变量指定缓冲I/O应在运行时用于所有Fortran I/O单元的输入和输出。在使用ifort编译时使用“-assume buffered_io”同样能达到该效果。此外还可以调整I/O环境变量“FORT_BLOCKSIZE”,将其调整为所用文件系统的块大小。

export FORT_BUFFERED=1

并行IO的使用

在一般的并行IO中,应用程序会使用多个进程分别读写,各个进程同时将自身数据写出到一个文件,参与的进程数增多会导致数据更加碎片化,进而导致锁竞争增加和锁管理开销增大。

并行IO软件库ROMIO提出了集合I/O的方式,它增加了一步全局通信,比如在写出数据的时候,先将各进程不连续的数据按照文件中的位置排列成有序的,再分别写出,进一步地,ROMIO中提供了每个客户端节点中选择一个或几个进程负责I/O的局地聚合方式,将全局通信变成了局地通信,减少了通信的开销。

ROMIO被集成在了基于POSIX I/O接口开发的并行IO库——MPI-IO上,使得MPI-IO做到平台独立和接口易用,用程序可以通过MPI-IO及基于MPI-IO的pHDF5、pNetCDF等库实现并行IO。

为了支持更多类型的数据文件格式和I/O操作,研究人员开发了ADIOS这种基于多种底层库、能够提供统一接口的高级并行I/O库,而且能通过XML配置文件让用户灵活选择文件格式和IO方法,用户可以根据自身需要选择多种不同的并行IO库以加速IO。PIO是用于结构化网格应用程序的高级并行I/O C和Fortran库,它提供了一个类似NetCDF的API,并允许用户指定一些处理器子集来执行IO。计算代码调用类似NetCDF的函数来读取和写入数据,使用IO处理器来执行所有必要的IO。

MPI-IO是MPI-2标准的IO接口。ROMIO被集成在了基于POSIX I/O接口开发的并行IO库—MPI-IO上,使得MPI-IO做到平台独立和接口易用。

ROMIO实现了两个重要的优化,对来自一个进程的不连续请求进行Data Sieving;对来自多个进程的不连续请求进行Collective I/O。

MPI提供了MPI_Info接口,供用户为MPI库提供自定义参数key-value键值对。

ROMIO的hint允许通过提供诸如文件访问模式和文件系统细节之类的信息来指导优化。

MPI_File fh;MPI_Info info;MPI_Info_create(&info);MPI_Info_set(info, "romio_cb_write", "enable");MPI_File_open(MPI_COMM_WORLD, "hello", MPI_MODE_WRONLY | MPI_MODE_CREATE, info, &fh);

异步IO

为了更明显地缩短整体的运行时间,某些应用使用了异步的方式,使用独立于计算进程的I/O进程输出,使得计算和IO过程可以同时进行。某些并行I/O库(XIOS等)已经可以提供这种异步I/O功能,通过I/O转发技术,将I/O请求和数据发送到I/O进程。

更进一步地,可以将IO进程分配到不同的计算节点上,以降低CPU和带宽竞争。

引用:http://cucis.ece.northwestern.edu/publications/pdf/LiLia03A.pdf

这篇关于高性能计算应用优化之IO调优的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1132767

相关文章

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socket read timed out的问题

《如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socketreadtimedout的问题》:本文主要介绍解决Druid线程... 目录异常信息触发场景找到版本发布更新的说明从版本更新信息可以看到该默认逻辑已经去除总结异常信息触发场景复

Python使用Tkinter打造一个完整的桌面应用

《Python使用Tkinter打造一个完整的桌面应用》在Python生态中,Tkinter就像一把瑞士军刀,它没有花哨的特效,却能快速搭建出实用的图形界面,作为Python自带的标准库,无需安装即可... 目录一、界面搭建:像搭积木一样组合控件二、菜单系统:给应用装上“控制中枢”三、事件驱动:让界面“活”

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

JVisualVM之Java性能监控与调优利器详解

《JVisualVM之Java性能监控与调优利器详解》本文将详细介绍JVisualVM的使用方法,并结合实际案例展示如何利用它进行性能调优,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录1. JVisualVM简介2. JVisualVM的安装与启动2.1 启动JVisualVM2

Python Flask 库及应用场景

《PythonFlask库及应用场景》Flask是Python生态中​轻量级且高度灵活的Web开发框架,基于WerkzeugWSGI工具库和Jinja2模板引擎构建,下面给大家介绍PythonFl... 目录一、Flask 库简介二、核心组件与架构三、常用函数与核心操作 ​1. 基础应用搭建​2. 路由与参

Spring Boot中的YML配置列表及应用小结

《SpringBoot中的YML配置列表及应用小结》在SpringBoot中使用YAML进行列表的配置不仅简洁明了,还能提高代码的可读性和可维护性,:本文主要介绍SpringBoot中的YML配... 目录YAML列表的基础语法在Spring Boot中的应用从YAML读取列表列表中的复杂对象其他注意事项总

电脑系统Hosts文件原理和应用分享

《电脑系统Hosts文件原理和应用分享》Hosts是一个没有扩展名的系统文件,当用户在浏览器中输入一个需要登录的网址时,系统会首先自动从Hosts文件中寻找对应的IP地址,一旦找到,系统会立即打开对应... Hosts是一个没有扩展名的系统文件,可以用记事本等工具打开,其作用就是将一些常用的网址域名与其对应

CSS 样式表的四种应用方式及css注释的应用小结

《CSS样式表的四种应用方式及css注释的应用小结》:本文主要介绍了CSS样式表的四种应用方式及css注释的应用小结,本文通过实例代码给大家介绍的非常详细,详细内容请阅读本文,希望能对你有所帮助... 一、外部 css(推荐方式)定义:将 CSS 代码保存为独立的 .css 文件,通过 <link> 标签

Python使用Reflex构建现代Web应用的完全指南

《Python使用Reflex构建现代Web应用的完全指南》这篇文章为大家深入介绍了Reflex框架的设计理念,技术特性,项目结构,核心API,实际开发流程以及与其他框架的对比和部署建议,感兴趣的小伙... 目录什么是 ReFlex?为什么选择 Reflex?安装与环境配置构建你的第一个应用核心概念解析组件