Golang 异步(bsd/linux)io

2024-03-21 02:20

文章标签 linux golang 异步 io bsd

本文主要是介绍Golang 异步(bsd/linux)io，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Golang 异步(bsd/linux)io

在日常开发中，读写文件的底层调用函数是syscall.Read/Write。一切都是围绕这两个函数展开的，不过有时候需要或者就是单纯想异步执行。liburing是linux上一个很好的原生异步io库，这里需要适配bsd派系的系统，所以选择的是另一款libaio，这款异步io库在bsd派系(macos,freebsd,openbsd…)和linux上都是存在的。
golang 类unix系统下 os.OpenFile函数的底层(windows就不要来找茬了:-(
请添加图片描述
写入文件的底层:syscall.Write是系统写入函数，ignoringEINTRIO函数会回调传入的syscall.Write函数

package main
//由于golang系统调用中没有定义aio需要用到的关键结构体aiocb,所以我们需要借助cgo来使其生成一份golang的aiocb结构体
/*
#include <aio.h>
*/
import "C"
import ("fmt""log""syscall""time""unsafe"
)type File struct {fd int
}
type AIOCB C.struct_aiocbfunc OpenFile(pathname string, mode, perm int) (*File, error) {fd, err := syscall.Open(pathname, mode, uint32(perm))if err != nil {return nil, err}//bsd派系系统走此函数设定绕过内核和用户层缓冲区，linux系统直接上方mode加入O_DIRECT即可syscall.Syscall(syscall.SYS_FCNTL, uintptr(fd), syscall.F_NOCACHE, 0)var f = File{fd: fd}return &f, nil
}
func (f *File) Write(b []byte) *AIOCB {var aiocb AIOCBaiocb.aio_buf = unsafe.Pointer(&b[0])blen := len(b)aiocb.aio_nbytes = C.size_t(blen)aiocb.aio_fildes = C.int(f.fd)syscall.Syscall(syscall.SYS_AIO_WRITE, uintptr(unsafe.Pointer(&aiocb)), 0, 0)return &aiocb
}
func (f *File) Close() error {return syscall.Close(f.fd)
}
func (f *File) Read(b []byte) *AIOCB {var aiocbp AIOCBaiocbp.aio_buf = unsafe.Pointer(&b[0])aiocbp.aio_nbytes = C.size_t(len(b))aiocbp.aio_fildes = C.int(f.fd)syscall.Syscall(syscall.SYS_AIO_READ, uintptr(unsafe.Pointer(&aiocbp)), 0, 0)return &aiocbp
}
//由于异步操作会立即返回，所以刚刚操作返回的aiocb结构体的指针非常关键，千万不要丢了，如果需要知道写入或读出操作有没有完成，需要通过aio_return这个函数来感知，如果操作未完成会返回-1
func Verify(a *AIOCB) int {ans, _, _ := syscall.Syscall(syscall.SYS_AIO_RETURN, uintptr(unsafe.Pointer(a)), 0, 0)return int(int32(ans))
}

由于异步操作会立即返回，所以刚刚操作返回的aiocb结构体的指针非常关键，千万不要丢了，如果需要知道写入或读出操作有没有完成，需要通过aio_return这个函数来感知，如果操作未完成会返回-1

测试代码

func main() {f, err := OpenFile("test.txt", syscall.O_CREAT|syscall.O_RDONLY, 0644)if err != nil {log.Fatalln(err)}defer f.Close()var b []byte = make([]byte, 128)status := f.Read(b)fmt.Println(Verify(status))time.Sleep(time.Second)fmt.Println(Verify(status))
}