深入理解 Go 语言并发编程--管道(channel) 的底层原理

2024-08-24 00:04

本文主要是介绍深入理解 Go 语言并发编程--管道(channel) 的底层原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        管道是 Go 语言协程间通信的一种常用手段,管道的读写操作也有可能会阻塞用户协程,也就是说有可能会切换到调度器。协程因为管道而阻塞时,只有当其他协程再次读或者写管道时,才有可能解除这个协程的阻塞状态。

1. 管道的基本用法

        管道是 Go 语言协程间通信的一种常用手段,可以分为无缓冲管道和有缓冲管道。因为无缓冲管道本身没有容量,不能缓存数据,所以只有当协程在等待读时,写操作才不会阻塞协程;或者当有协程在等待写时,读操作才不会阻塞协程。因为有缓冲管道本身有一定容量,可以缓存一定数据,所以当协跑第一执行写操作时,即使没有其他协程在等待读,只要管道还有剩余容量,写操作就不会阻塞协程;或者当协程执行读操作时,即使没有其他协程在等待写,只要管道还有剩余数据,读操作就不会阻塞协程。

        下面写一个简单的 Go 程序,学习管道的基本用法,代码如下所示:

package mainimport ("fmt""time"
)func main() {queue := make(chan int, 1)go func() {for {data := <-queue     //读取fmt.Print(data, "") //0 1 2 3 4 5 6 7 8 9}}()for i := 0; i < 10; i++ {queue <- i //写入}time.Sleep(time.Second)
}

        参考上面代码,主协程循环向管道写入整数,子协程循环从管道读取数据。主协程休眠 1s 是为了防止主协程结束,整个 Go 程序退出,导致子协程也提前结束。函数 make 用于初始化 Go 语言的一些内置类型,如切片 slice、散列列 map 以及管道 chan。注意用函数 make 初始化时,第一个参数 chan int 表示管道只能用来传递整型数据,第二个参数表示管道的容量是 1,即最多只能缓存一个整型数据。

        管道的操作还是比较简单的,无非就是读、写以及关闭操作。这里提出一个问题,如果程序没有初始化管道,却执行读或者写操作会发生什么呢?或者说,如果一个管道已经被关闭了,这时候执行读或者写操作会发生什么呢?我们写一些简单的 Go 程序测试一下。

        第 1 个程序:不初始化管道,直接执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intqueue <- 100fmt.Println("main end")
}

        运行上面的程序,竟然报错了,提示 all goroutines are asleep,意思是所有的协程都在休眠,程序死锁了。为什么所有的协程都在休眠呢?其实是由主协程向未初始化的管道写数据导致的,也就是说,向未初始化的管道写数据会导致协程永久性阻塞。

        第 2 个程序:不初始化管道,直接执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intdata := <-queuefmt.Println("main end",data)
}

        可以看到,第 2 个程序的运行结果与第 1 个程序一致,主协程同样被阻塞了,即从未初始化的管道读数据也会导致协程的永久性阻塞。

第 3 个程序: 关闭管道之后,再执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)close(queue)queue <- 100fmt.Println("main end")
}

第 4 个程序:关闭管道之后,再执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)queue <- 100close(queue)data1 := <-queuefmt.Println("main end1", data1)data2 := <-queuefmt.Println("main end2", data2)
}

        我们先向管道写入一个整型数据 100,再关闭管道,随后从管道读取两次数据。参考上面的输出结果,程序输出了两条语句,第一次正常读取到了数据 100,第二次读取到的是 0。通过这个例子可以说明,即使管道关闭之后,也可以正常地从管道读取数据,没有数据时直接返回对应的空值(整型空值是 0,字符串空值是空字符串等)。

        最后一个问题,如果关闭未初始化的管道,会怎么样呢?或者说再次关闭已关闭的管道,会怎么样呢?参考上面 4 个程序,你也可以写两个简单的程序测试一下,这里我就直接给出答案了:如果管道未初始化,关闭管道会导致程序抛 panic 异常(异常提示信息为 close of nil channel); 如果管道已经被关闭,再次关闭管道也会导致程序抛 panic 异常(异常提示信息为 close of closed channel)。

 2. 管道与调度器

        管道的读写操作有可能会阻塞用户协程,并切换到调度器;而协程因管道而阻塞时,只有当其他协程再次读或写管道时,才有可能解除这个协程的阻塞状态。在介绍管道与调度器之间的联系之前,先思考一下:Go 语言如何维护因读写管道而阻塞的协程呢?有没有专门的阻塞协程队列呢?

        回顾一下网络 I/O 与调度器,因为读写套接字阻塞的协程,只有当 Go 语言检测到套接字可读、可写时,才能解除这个协程的阻塞状态。代表套接字的结构体 runtime.pollDesc 就保存了因读套接字以及写套接字而阻塞的协程,不然即使 Go 语言检测到套接字可读 / 可写,又怎么关联到对应的协程呢? 

        按照这个思路,我们是不是可以猜测,因读写管道而阻塞的协程是不是就维护在管道本身呢?不然,当其他协程再次读或写管道时,该如何去获取这些阻塞的协程呢?

        是不是这样呢?我们可以看一下管道的结构定义,代码如下所示:

type hchan struct {// 当前管道存储的元素数目qcount uint//管道容量dataqsiz uint//数组buf unsafe.Pointer//标识管道是否被关闭closed uint32//管道存储的元素类型与元素大小elemtype *_typeelemsize uint16//读/写 索引,循环队列sendx	uintrecvx	uint//读阻塞协程队列,写阻塞协程队列recvq 	waitqsendq	waitq// 锁lock mutex
}

管道的结构定义可以参考文件 runtime/chan.go 各字段含义如下。

1)qcount: 整数类型,表示管道已经存储的数据量。当 qcount 等于 0 时,说明管道没有数据可读,此时读管道会阻塞用户协程。

2)dataqsiz: 整数类型,表示管道的容量。当 qcount 等于 dataqsiz 时,说明管道已经没有剩余容量了,此时写管道会阻塞用户协程。

3)buf: 指针类型,指向一个数组,用于存储缓存在管道的数据,数组的容量等于 elemsize 乘以 dataqsiz 。

4)sendx/recvx: 管道本身维护了一个循环数据 buf, sendx 指向写索引位置,recvx 指向读索引位置。

5)lock: 用于锁定管道。管道用于多协程通信,通常是一个协程读管道,另外一个协程写管道,多个协程并发操作同一个数据时需要加锁。

        文件 runtime/chan.go 不仅定义了管道的数据类型,还包括了所有管道操作的实现函数,如初始化管道、读管道、写管道、关闭管道等实现函数。各函数定义如下:

// 初始化管道:size 就是 chan 容量
func makechan(t *chantype,size int) *hchan
//读管道:读取到的数据就存储在 ep 指针;block 表示如果管道不可读,是否阻塞协程
func chanrecv(c *hchan,ep unsafe.Pointer,block bool)
//写管道:待写入的数据就存储在 ep 指针;block 表示如果管道不可写,是否阻塞协程
func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr
//关闭管道
func closechan(c *hchan)

        我们以写管道的实现函数为例,学习写管道是如何阻塞用户协程的,又是如何切换到调度器的,以及是如何解除其他因读管道而阻塞的协程的,代码如下所示:

func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr) bool {//如果未初始化;如果 block 为 false,函数立即返回,否则永久阻塞协程if c == nil {if !block {return false}//切换到调度器gopark(nil,nil,waitReasonChanSendNilChan,traceEvGoStop,2)}//加锁lock(&c.lock)//如果已关闭,抛出 panic 异常if c.closed !=0 {unlock(&c.lock)panic(plainError("send on closed channel"))}//如果读协程队列不为空,则获取阻塞协程并解除该协程阻塞状态if sg := c.recvg.dequeue();sg != nil {send(c,sg,ep,func(){ unlock(&c.lock)},3)return true}//如果管道还有剩余容量,写数据if c.qcount < c.dataqsiz{.....}//如果 block 为 false,函数立即返回if !block {unlock(&c.lock)return false}// 添加到阻塞协程队列mysg := acquireSudog()mysg.elem = epmysg.g = gpc.sendq.enqueue(mysg)//切换到调度器gopark(chanparkcommit,unsafe.Pointer(&c.lock),waitReasonChanSend,traceEvGo-Blocksend,2)......return true
}

        参考上面的代码,函数 chansend 的主要流程如下:

第 1 步:如果管道未初始化,普通的写管道操作(这种情况下 block 等于 true) 会导致协程的永久性阻塞。

第 2 步:如果管道已经被关闭,写管道会导致程序抛出 panic 异常。

第 3 步:如果检测到读阻塞协程队列为空,则获取队首阻塞协程,并解除该协程的阻塞状态,这一操作同样基于 runtime.goready 函数实现,当然这里也只是将协程添加到了可运行协程队列等待调度器的调度执行,至此写管道操作就算完成了。

第 4 步:如果管道还有剩余容量,则将数据复制到循环队列后返回,注意需要更新管道数据 qcount 以及写索引位置 sendx。

第 5 步:如果 block 等于 false,返回 false,表示写管道失败。

第 6 步:执行到这里,说明需要阻塞当前协程,首先将其添加写阻塞协程队列,随后通过函数 runtime.gopark 切换到调度器,重新调度执行其他协程。

这篇关于深入理解 Go 语言并发编程--管道(channel) 的底层原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1100878

相关文章

redis中使用lua脚本的原理与基本使用详解

《redis中使用lua脚本的原理与基本使用详解》在Redis中使用Lua脚本可以实现原子性操作、减少网络开销以及提高执行效率,下面小编就来和大家详细介绍一下在redis中使用lua脚本的原理... 目录Redis 执行 Lua 脚本的原理基本使用方法使用EVAL命令执行 Lua 脚本使用EVALSHA命令

Java并发编程之如何优雅关闭钩子Shutdown Hook

《Java并发编程之如何优雅关闭钩子ShutdownHook》这篇文章主要为大家详细介绍了Java如何实现优雅关闭钩子ShutdownHook,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 目录关闭钩子简介关闭钩子应用场景数据库连接实战演示使用关闭钩子的注意事项开源框架中的关闭钩子机制1.

Java Stream流使用案例深入详解

《JavaStream流使用案例深入详解》:本文主要介绍JavaStream流使用案例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录前言1. Lambda1.1 语法1.2 没参数只有一条语句或者多条语句1.3 一个参数只有一条语句或者多

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》:本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

Redis Pipeline(管道) 详解

《RedisPipeline(管道)详解》Pipeline管道是Redis提供的一种批量执行命令的机制,通过将多个命令一次性发送到服务器并统一接收响应,减少网络往返次数(RTT),显著提升执行效率... 目录Redis Pipeline 详解1. Pipeline 的核心概念2. 工作原理与性能提升3. 核

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三