Linux实现异步IO的方法:epoll,posix aio,libaio,io_uring

2024-08-30 10:20

本文主要是介绍Linux实现异步IO的方法:epoll,posix aio,libaio,io_uring,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Linux中异步IO的实现方式大概有以下几种:

1. epoll

熟悉网络编程的人可能会想到select,poll,epoll这些异步IO的方式,但实际上这些方式叫做非阻塞IO,用于把网络读写的阻塞变成非阻塞,并不是实际意义上的异步IO。因此Epoll这些只能用于实现非阻塞的Socket IO无法用于异步的Storage IO
因为只有网络IO才存在阻塞的情况(也即,这个网络文件描述符是否准备好被读写?),因此你不知道网络的对方何时给你发送消息;而Storage IO则不存在这种现象,要读取的硬盘数据一直准备好被读写,因此不存在阻塞的情况。
详细的解释可以看这篇文章:https://www.pulpcode.cn/2021/04/03/regular-files-with-epoll/
关于阻塞,非阻塞,同步,异步的概念可以参考这篇文章:https://blog.csdn.net/weixin_45888152/article/details/125699347

2. POSIX AIO

首先,POSIX AIO的API在<aio.h>中,并且在编译的时候需要link librt(-lrt)。POSIX AIO 本质上在是在用户级别上实现的它在多个线程中执行正常的阻塞 I/O,因此给人一种 I/O 是异步的错觉。这样做特点是:
▶ 它适用于任何文件系统
▶ 它(基本上)可以在任何操作系统上运行
▶ 它适用于启用缓冲的文件(即不设置 O_DIRECT 标志)
而主要缺点是IO队列深度(即实际可以执行的未完成操作数)受所选线程数的限制

3. LibAIO(kernel AIO)

libaio是在内核中实现的一套异步IO方式,它不是基于多线程实现的,一般也叫做kernel AIO。Libaio的APIs在<libaio.h>中,在编译的时候需要link libaio(-laio)。内核AIO(即io_submit()等)是内核对异步I/O操作的支持,其中io请求实际上在内核中排队,按照拥有的任何磁盘调度器排序,可能其中一些请求作为异步操作(使用TCQ或NCQ)被转发(以某种最优顺序)到实际磁盘。这种方法的主要限制是,并不是所有的文件系统都能很好地使用异步I/O(并且可能会退回到阻塞语义),并且文件必须使用O_DIRECT打开,这对I/O请求有很多其他限制。如果无法使用O_DIRECT打开文件,它可能仍然“工作”,因为您可以获得正确的数据,但它可能不是异步完成的,而是回落到阻塞语义。

实际上,原生的 Linux AIO 有蠻多大大小小的问题,所以并不是真的太流行,linus也痛骂过AIO的设计:

在这里插入图片描述

4.io_uring

待补充,参考资料1,参考资料2

这篇关于Linux实现异步IO的方法:epoll,posix aio,libaio,io_uring的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1120548

相关文章

基于Linux的ffmpeg python的关键帧抽取

《基于Linux的ffmpegpython的关键帧抽取》本文主要介绍了基于Linux的ffmpegpython的关键帧抽取,实现以按帧或时间间隔抽取关键帧,文中通过示例代码介绍的非常详细,对大家的学... 目录1.FFmpeg的环境配置1) 创建一个虚拟环境envjavascript2) ffmpeg-py

Nginx 配置跨域的实现及常见问题解决

《Nginx配置跨域的实现及常见问题解决》本文主要介绍了Nginx配置跨域的实现及常见问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来... 目录1. 跨域1.1 同源策略1.2 跨域资源共享(CORS)2. Nginx 配置跨域的场景2.1

Python中提取文件名扩展名的多种方法实现

《Python中提取文件名扩展名的多种方法实现》在Python编程中,经常会遇到需要从文件名中提取扩展名的场景,Python提供了多种方法来实现这一功能,不同方法适用于不同的场景和需求,包括os.pa... 目录技术背景实现步骤方法一:使用os.path.splitext方法二:使用pathlib模块方法三

Python打印对象所有属性和值的方法小结

《Python打印对象所有属性和值的方法小结》在Python开发过程中,调试代码时经常需要查看对象的当前状态,也就是对象的所有属性和对应的值,然而,Python并没有像PHP的print_r那样直接提... 目录python中打印对象所有属性和值的方法实现步骤1. 使用vars()和pprint()2. 使

CSS实现元素撑满剩余空间的五种方法

《CSS实现元素撑满剩余空间的五种方法》在日常开发中,我们经常需要让某个元素占据容器的剩余空间,本文将介绍5种不同的方法来实现这个需求,并分析各种方法的优缺点,感兴趣的朋友一起看看吧... css实现元素撑满剩余空间的5种方法 在日常开发中,我们经常需要让某个元素占据容器的剩余空间。这是一个常见的布局需求

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API,结合WebAudioAPI,实现网页录音功能,从获取音频流到处理和保存录音,整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4