深入理解 Go 语言并发编程--管道(channel) 的底层原理

2024-08-24 00:04

本文主要是介绍深入理解 Go 语言并发编程--管道(channel) 的底层原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        管道是 Go 语言协程间通信的一种常用手段,管道的读写操作也有可能会阻塞用户协程,也就是说有可能会切换到调度器。协程因为管道而阻塞时,只有当其他协程再次读或者写管道时,才有可能解除这个协程的阻塞状态。

1. 管道的基本用法

        管道是 Go 语言协程间通信的一种常用手段,可以分为无缓冲管道和有缓冲管道。因为无缓冲管道本身没有容量,不能缓存数据,所以只有当协程在等待读时,写操作才不会阻塞协程;或者当有协程在等待写时,读操作才不会阻塞协程。因为有缓冲管道本身有一定容量,可以缓存一定数据,所以当协跑第一执行写操作时,即使没有其他协程在等待读,只要管道还有剩余容量,写操作就不会阻塞协程;或者当协程执行读操作时,即使没有其他协程在等待写,只要管道还有剩余数据,读操作就不会阻塞协程。

        下面写一个简单的 Go 程序,学习管道的基本用法,代码如下所示:

package mainimport ("fmt""time"
)func main() {queue := make(chan int, 1)go func() {for {data := <-queue     //读取fmt.Print(data, "") //0 1 2 3 4 5 6 7 8 9}}()for i := 0; i < 10; i++ {queue <- i //写入}time.Sleep(time.Second)
}

        参考上面代码,主协程循环向管道写入整数,子协程循环从管道读取数据。主协程休眠 1s 是为了防止主协程结束,整个 Go 程序退出,导致子协程也提前结束。函数 make 用于初始化 Go 语言的一些内置类型,如切片 slice、散列列 map 以及管道 chan。注意用函数 make 初始化时,第一个参数 chan int 表示管道只能用来传递整型数据,第二个参数表示管道的容量是 1,即最多只能缓存一个整型数据。

        管道的操作还是比较简单的,无非就是读、写以及关闭操作。这里提出一个问题,如果程序没有初始化管道,却执行读或者写操作会发生什么呢?或者说,如果一个管道已经被关闭了,这时候执行读或者写操作会发生什么呢?我们写一些简单的 Go 程序测试一下。

        第 1 个程序:不初始化管道,直接执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intqueue <- 100fmt.Println("main end")
}

        运行上面的程序,竟然报错了,提示 all goroutines are asleep,意思是所有的协程都在休眠,程序死锁了。为什么所有的协程都在休眠呢?其实是由主协程向未初始化的管道写数据导致的,也就是说,向未初始化的管道写数据会导致协程永久性阻塞。

        第 2 个程序:不初始化管道,直接执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intdata := <-queuefmt.Println("main end",data)
}

        可以看到,第 2 个程序的运行结果与第 1 个程序一致,主协程同样被阻塞了,即从未初始化的管道读数据也会导致协程的永久性阻塞。

第 3 个程序: 关闭管道之后,再执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)close(queue)queue <- 100fmt.Println("main end")
}

第 4 个程序:关闭管道之后,再执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)queue <- 100close(queue)data1 := <-queuefmt.Println("main end1", data1)data2 := <-queuefmt.Println("main end2", data2)
}

        我们先向管道写入一个整型数据 100,再关闭管道,随后从管道读取两次数据。参考上面的输出结果,程序输出了两条语句,第一次正常读取到了数据 100,第二次读取到的是 0。通过这个例子可以说明,即使管道关闭之后,也可以正常地从管道读取数据,没有数据时直接返回对应的空值(整型空值是 0,字符串空值是空字符串等)。

        最后一个问题,如果关闭未初始化的管道,会怎么样呢?或者说再次关闭已关闭的管道,会怎么样呢?参考上面 4 个程序,你也可以写两个简单的程序测试一下,这里我就直接给出答案了:如果管道未初始化,关闭管道会导致程序抛 panic 异常(异常提示信息为 close of nil channel); 如果管道已经被关闭,再次关闭管道也会导致程序抛 panic 异常(异常提示信息为 close of closed channel)。

 2. 管道与调度器

        管道的读写操作有可能会阻塞用户协程,并切换到调度器;而协程因管道而阻塞时,只有当其他协程再次读或写管道时,才有可能解除这个协程的阻塞状态。在介绍管道与调度器之间的联系之前,先思考一下:Go 语言如何维护因读写管道而阻塞的协程呢?有没有专门的阻塞协程队列呢?

        回顾一下网络 I/O 与调度器,因为读写套接字阻塞的协程,只有当 Go 语言检测到套接字可读、可写时,才能解除这个协程的阻塞状态。代表套接字的结构体 runtime.pollDesc 就保存了因读套接字以及写套接字而阻塞的协程,不然即使 Go 语言检测到套接字可读 / 可写,又怎么关联到对应的协程呢? 

        按照这个思路,我们是不是可以猜测,因读写管道而阻塞的协程是不是就维护在管道本身呢?不然,当其他协程再次读或写管道时,该如何去获取这些阻塞的协程呢?

        是不是这样呢?我们可以看一下管道的结构定义,代码如下所示:

type hchan struct {// 当前管道存储的元素数目qcount uint//管道容量dataqsiz uint//数组buf unsafe.Pointer//标识管道是否被关闭closed uint32//管道存储的元素类型与元素大小elemtype *_typeelemsize uint16//读/写 索引,循环队列sendx	uintrecvx	uint//读阻塞协程队列,写阻塞协程队列recvq 	waitqsendq	waitq// 锁lock mutex
}

管道的结构定义可以参考文件 runtime/chan.go 各字段含义如下。

1)qcount: 整数类型,表示管道已经存储的数据量。当 qcount 等于 0 时,说明管道没有数据可读,此时读管道会阻塞用户协程。

2)dataqsiz: 整数类型,表示管道的容量。当 qcount 等于 dataqsiz 时,说明管道已经没有剩余容量了,此时写管道会阻塞用户协程。

3)buf: 指针类型,指向一个数组,用于存储缓存在管道的数据,数组的容量等于 elemsize 乘以 dataqsiz 。

4)sendx/recvx: 管道本身维护了一个循环数据 buf, sendx 指向写索引位置,recvx 指向读索引位置。

5)lock: 用于锁定管道。管道用于多协程通信,通常是一个协程读管道,另外一个协程写管道,多个协程并发操作同一个数据时需要加锁。

        文件 runtime/chan.go 不仅定义了管道的数据类型,还包括了所有管道操作的实现函数,如初始化管道、读管道、写管道、关闭管道等实现函数。各函数定义如下:

// 初始化管道:size 就是 chan 容量
func makechan(t *chantype,size int) *hchan
//读管道:读取到的数据就存储在 ep 指针;block 表示如果管道不可读,是否阻塞协程
func chanrecv(c *hchan,ep unsafe.Pointer,block bool)
//写管道:待写入的数据就存储在 ep 指针;block 表示如果管道不可写,是否阻塞协程
func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr
//关闭管道
func closechan(c *hchan)

        我们以写管道的实现函数为例,学习写管道是如何阻塞用户协程的,又是如何切换到调度器的,以及是如何解除其他因读管道而阻塞的协程的,代码如下所示:

func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr) bool {//如果未初始化;如果 block 为 false,函数立即返回,否则永久阻塞协程if c == nil {if !block {return false}//切换到调度器gopark(nil,nil,waitReasonChanSendNilChan,traceEvGoStop,2)}//加锁lock(&c.lock)//如果已关闭,抛出 panic 异常if c.closed !=0 {unlock(&c.lock)panic(plainError("send on closed channel"))}//如果读协程队列不为空,则获取阻塞协程并解除该协程阻塞状态if sg := c.recvg.dequeue();sg != nil {send(c,sg,ep,func(){ unlock(&c.lock)},3)return true}//如果管道还有剩余容量,写数据if c.qcount < c.dataqsiz{.....}//如果 block 为 false,函数立即返回if !block {unlock(&c.lock)return false}// 添加到阻塞协程队列mysg := acquireSudog()mysg.elem = epmysg.g = gpc.sendq.enqueue(mysg)//切换到调度器gopark(chanparkcommit,unsafe.Pointer(&c.lock),waitReasonChanSend,traceEvGo-Blocksend,2)......return true
}

        参考上面的代码,函数 chansend 的主要流程如下:

第 1 步:如果管道未初始化,普通的写管道操作(这种情况下 block 等于 true) 会导致协程的永久性阻塞。

第 2 步:如果管道已经被关闭,写管道会导致程序抛出 panic 异常。

第 3 步:如果检测到读阻塞协程队列为空,则获取队首阻塞协程,并解除该协程的阻塞状态,这一操作同样基于 runtime.goready 函数实现,当然这里也只是将协程添加到了可运行协程队列等待调度器的调度执行,至此写管道操作就算完成了。

第 4 步:如果管道还有剩余容量,则将数据复制到循环队列后返回,注意需要更新管道数据 qcount 以及写索引位置 sendx。

第 5 步:如果 block 等于 false,返回 false,表示写管道失败。

第 6 步:执行到这里,说明需要阻塞当前协程,首先将其添加写阻塞协程队列,随后通过函数 runtime.gopark 切换到调度器,重新调度执行其他协程。

这篇关于深入理解 Go 语言并发编程--管道(channel) 的底层原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1100878

相关文章

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流(parallelStream)的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述:HashMap的宏观结构二、核心数据结构解析1. 数组(桶数组)2. 链表节点(Node

Java AOP面向切面编程的概念和实现方式

《JavaAOP面向切面编程的概念和实现方式》AOP是面向切面编程,通过动态代理将横切关注点(如日志、事务)与核心业务逻辑分离,提升代码复用性和可维护性,本文给大家介绍JavaAOP面向切面编程的概... 目录一、AOP 是什么?二、AOP 的核心概念与实现方式核心概念实现方式三、Spring AOP 的关

从基础到高级详解Go语言中错误处理的实践指南

《从基础到高级详解Go语言中错误处理的实践指南》Go语言采用了一种独特而明确的错误处理哲学,与其他主流编程语言形成鲜明对比,本文将为大家详细介绍Go语言中错误处理详细方法,希望对大家有所帮助... 目录1 Go 错误处理哲学与核心机制1.1 错误接口设计1.2 错误与异常的区别2 错误创建与检查2.1 基础

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

Redis中Hash从使用过程到原理说明

《Redis中Hash从使用过程到原理说明》RedisHash结构用于存储字段-值对,适合对象数据,支持HSET、HGET等命令,采用ziplist或hashtable编码,通过渐进式rehash优化... 目录一、开篇:Hash就像超市的货架二、Hash的基本使用1. 常用命令示例2. Java操作示例三

Redis中Set结构使用过程与原理说明

《Redis中Set结构使用过程与原理说明》本文解析了RedisSet数据结构,涵盖其基本操作(如添加、查找)、集合运算(交并差)、底层实现(intset与hashtable自动切换机制)、典型应用场... 目录开篇:从购物车到Redis Set一、Redis Set的基本操作1.1 编程常用命令1.2 集

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇:排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse

Redis中的AOF原理及分析

《Redis中的AOF原理及分析》Redis的AOF通过记录所有写操作命令实现持久化,支持always/everysec/no三种同步策略,重写机制优化文件体积,与RDB结合可平衡数据安全与恢复效率... 目录开篇:从日记本到AOF一、AOF的基本执行流程1. 命令执行与记录2. AOF重写机制二、AOF的