新一代异步I/O:io_uring介绍

2023-11-09 22:10
文章标签 介绍 异步 新一代 io uring

本文主要是介绍新一代异步I/O:io_uring介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


Linux 异步API:io_uring介绍


io_uring:

高性能异步I/O框架

  • 能显著提高IO密集型应用的性能。

  • linux5.1内核正式引入,取缔传统的AIO。

  • 作者Jens Axboe也是CFQ、Noop、Deadline、Fio等的作者

  • 性能接近SPDK,并支持buffer IO


width:800px


应用

一些项目开始做尝试性应用:

  • RocksDb实现了MultiRead(),使用io_uring进行批量下发读io。
  • TiKV扩展了WAL、SSTable等写入使用io_uring。
  • SPDK在通用块层加入了io_uring支持
  • cephredis

linux io系统调用发展历程

(同步接口:)

➔ read(2)/write(2)

➔ pread(2)、readv(2)、preadv(2)、preadv2(2)

(异步接口:)

➔ aio_read(2)/aio_write(2)

➔ io_uring since Linux Kernel 5.1


1. 同步读写流程

device
kernel
user
Buffer IO
Direct IO
设备
Page Cache
VFS: vfs_read()
文件系统
块IO层
read()

1. 同步读写流程

  • 发出IO后,程序进入sleep状态,直到IO操作完成width:600px

  • 可想,随着存储设备越来越快,程序越来越复杂,该阻塞方式不够用了。


2. 异步IO:aio

  • aio实现了一套异步IO框架(since linux 2.5)。

width:600px

  • 相对同步阻塞IO,提高了性能。

2. 异步IO:aio

但是!

aio一直被认为难以使用效率低下

  • 只支持Direct IO。不支持Buffer IO,对大部分常规应用无用处。
  • 部分内部实现仍然会阻塞。
  • 未考虑扩展性,改动极其复杂。

3. io_uring

解决了aio的问题,统一了接口。

  • 真正异步,不会发生阻塞。
  • 支持所有IO模式。
  • 支持轮询模式(poller)等高级特性,针对不同场景,性能更好。
  • 灵活、可扩展。

io_uring基本原理

  • 每个io_uring有两个环形队列(ring),app和kernel共享,(类似NVMe):

    1. 提交队列:submission queue(SQ

    2. 完成队列:completion queue(CQw:600px


使用ring buffer(SQ、CQ)好处

  • 省去应用和内核间的内存拷贝。

  • 无锁操作,通过几个简单头尾指针移动就能完成交互。

  • 内核轮询模式下,无需系统调用。

    ​ 内核线程轮询处理SQ,应用只需监控CQ即可。image-20220506163532753


使用

三个系统调用
  • io_uring_setup(2):设置上下文,创建SQ、CQ等
  • io_uring_register(2):注册文件、缓存区
  • io_uring_enter(2):初始化和完成IO,支持很多操作

使用起来还是比较复杂,Jens Axboe提供了封装好的liburing库,简化了使用。


总结


谢谢

参考:

[译] Linux 异步 I/O 框架 io_uring:基本原理、程序示例与性能压测(2020

异步IO引擎——io_uring设计与实现

【io_uring】简介和使用_ywang_wnlo的博客

这篇关于新一代异步I/O:io_uring介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/378717

相关文章

zookeeper端口说明及介绍

《zookeeper端口说明及介绍》:本文主要介绍zookeeper端口说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、zookeeper有三个端口(可以修改)aVNMqvZ二、3个端口的作用三、部署时注意总China编程结一、zookeeper有三个端口(可以

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

c++中的set容器介绍及操作大全

《c++中的set容器介绍及操作大全》:本文主要介绍c++中的set容器介绍及操作大全,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录​​一、核心特性​​️ ​​二、基本操作​​​​1. 初始化与赋值​​​​2. 增删查操作​​​​3. 遍历方

HTML img标签和超链接标签详细介绍

《HTMLimg标签和超链接标签详细介绍》:本文主要介绍了HTML中img标签的使用,包括src属性(指定图片路径)、相对/绝对路径区别、alt替代文本、title提示、宽高控制及边框设置等,详细内容请阅读本文,希望能对你有所帮助... 目录img 标签src 属性alt 属性title 属性width/h

MybatisPlus service接口功能介绍

《MybatisPlusservice接口功能介绍》:本文主要介绍MybatisPlusservice接口功能介绍,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录Service接口基本用法进阶用法总结:Lambda方法Service接口基本用法MyBATisP

MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)

《MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)》掌握多表联查(INNERJOIN,LEFTJOIN,RIGHTJOIN,FULLJOIN)和子查询(标量、列、行、表子查询、相关/非相关、... 目录第一部分:多表联查 (JOIN Operations)1. 连接的类型 (JOIN Types)

如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socket read timed out的问题

《如何解决Druid线程池Cause:java.sql.SQLRecoverableException:IO错误:Socketreadtimedout的问题》:本文主要介绍解决Druid线程... 目录异常信息触发场景找到版本发布更新的说明从版本更新信息可以看到该默认逻辑已经去除总结异常信息触发场景复

java中BigDecimal里面的subtract函数介绍及实现方法

《java中BigDecimal里面的subtract函数介绍及实现方法》在Java中实现减法操作需要根据数据类型选择不同方法,主要分为数值型减法和字符串减法两种场景,本文给大家介绍java中BigD... 目录Java中BigDecimal里面的subtract函数的意思?一、数值型减法(高精度计算)1.

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe