协程是否越多越好

2024-05-16 11:52
文章标签 是否 越多越好 协程

本文主要是介绍协程是否越多越好,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

写在文章开头

我们都说协程是活跃于应用层的轻量级线程,进行调度切换时的开销远远小于线程,那么问题来了,对于高并发的场景,协程是否是越多越好呢?对此本文就会基于几个案例和go语言设计层面的角度来剖析这个问题。

在这里插入图片描述

Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder ,是 CSDN的博客专家 ,也是开源项目 Java Guide 的维护者之一,熟悉 Java 也会一点 Go ,偶尔也会在 C源码 边缘徘徊。写过很多有意思的技术博客,也还在研究并输出技术的路上,希望我的文章对你有帮助,非常欢迎你关注我的公众号: 写代码的SharkChili

因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

多协程代码示例

我们给出一段代码示例,这段代码会进行一个大循环创建多个协程调用foo方法:

func foo() {//休眠1s后输出time.Sleep(time.Second)
}func main() {//大循环启动大量协程for i := 0; i < math.MaxInt64; i++ {go func() {foo()}()}//休眠 让上述协程执行time.Sleep(time.Hour)
}

程序执行完一段时间后报错,提示操作了大量的文件或者socket,很明显go在使用协程提升并发性能的同时也对服务器资源的使用做了限制。
所以,对于协程的使用,我们应做到如何使用尽可能少的协程做尽快尽多的任务:

panic: too many concurrent operations on a single file or socket (max 1048575)goroutine 1162454 [running]:

协程并发最佳实践

逻辑优化

协程设计的初衷就是线程用后即焚,所以从业角度考虑,假设我们开大量协程执行耗时任务,这就会导致单位时间内有大量的协程都活跃与内存中,无法做到即用即毁,随着时间的推移就看你会把内存资源耗尽。所有我们建议在使用协程进行业务开发时,尽可能的优化任务的执行速度。
以我们上文为例,造成too many concurrent operations on a single file or socket的本质原因就是内存中存在大量的协撑爆了服务器的内存资源,所以如果我们能够提升每一个协程的执行速度,保证单位时间内尽可能处理多的协程,保证大量协程能够及时GC以保证时刻保持足量的内存空间,就能够避免上述问题:

在这里插入图片描述

对应我们将foo休眠的逻辑去掉,以模拟协程毫秒级处理,最终代码正确执行完成了:

func foo() {//模拟协程毫秒级的处理
}func main() {i := 0//大循环启动大量协程for ; i < math.MaxInt64; i++ {go func() {foo()}()}//等待上述协程执行完成var wg sync.WaitGroupwg.Add(1)go func() {for true {//当所有协程执行完成之后,该协程退出循环if i == math.MaxInt64 {wg.Done()break}time.Sleep(1 * time.Minute)}}()//所有协程执行完成后输出finishwg.Wait()fmt.Println("finish")}

利用channel实现协程有界化

产生上述的原因就是单位时间内创建了太多了协程,所以我们可以通过有缓冲区的channel作为信号量,只有信号可以投递到缓冲区中才能创建协程,由此实现单位时间内仅能创建有限量的协程,从而避免内存溢出:
在这里插入图片描述

对应的我们给出这段思路的代码:

func foo(ch chan struct{}) {fmt.Println("hello")time.Sleep(time.Second)//完成执行后,将信号从channel中抛出<-ch
}func main() {//创建channel允许容纳5000个元素ch := make(chan struct{}, 5000)//创建大量协程for i := 0; i < math.MaxInt64; i++ {//投递信号到协程中,只有投递成功才能执行后续逻辑ch <- struct{}{}//创建协程并运行go func() {foo(ch)}()}}

协程池化

从一个Java程序员的角度出发,大部分都认为协程应该可以向线程一样通过池化进行复用,但是我们不推荐这种做法,因为go语言本身就内置对协程池化的管理机制,并且协程的使用初衷就是即用即毁,避免池化,所以这个方案我们不推荐。

终极大招

提升服务器硬件配置,俗称:换个高配CPU、加内存。

在这里插入图片描述

小结

以上便是笔者对于协程创建的量的问题的思考和总结,希望对你有帮助。

我是 sharkchiliCSDN Java 领域博客专家开源项目—JavaGuide contributor,我想写一些有意思的东西,希望对你有帮助,如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号: 写代码的SharkChili
因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

这篇关于协程是否越多越好的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/994833

相关文章

java中判断json key是否存在的几种方法

《java中判断jsonkey是否存在的几种方法》在使用Java处理JSON数据时,如何判断某一个key是否存在?本文就来介绍三种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目http://www.chinasem.cn录第一种方法是使用 jsONObject 的 has 方法

Kotlin 协程之Channel的概念和基本使用详解

《Kotlin协程之Channel的概念和基本使用详解》文章介绍协程在复杂场景中使用Channel进行数据传递与控制,涵盖创建参数、缓冲策略、操作方式及异常处理,适用于持续数据流、多协程协作等,需注... 目录前言launch / async 适合的场景Channel 的概念和基本使用概念Channel 的

MySQL使用EXISTS检查记录是否存在的详细过程

《MySQL使用EXISTS检查记录是否存在的详细过程》EXISTS是SQL中用于检查子查询是否返回至少一条记录的运算符,它通常用于测试是否存在满足特定条件的记录,从而在主查询中进行相应操作,本文给大... 目录基本语法示例数据库和表结构1. 使用 EXISTS 在 SELECT 语句中2. 使用 EXIS

JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法

《JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法》:本文主要介绍JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法,每种方法结合实例代码给大家介绍的非常... 目录引言:为什么"相等"判断如此重要?方法1:使用some()+includes()(适合小数组)方法2

如何通过try-catch判断数据库唯一键字段是否重复

《如何通过try-catch判断数据库唯一键字段是否重复》在MyBatis+MySQL中,通过try-catch捕获唯一约束异常可避免重复数据查询,优点是减少数据库交互、提升并发安全,缺点是异常处理开... 目录1、原理2、怎么理解“异常走的是数据库错误路径,开销比普通逻辑分支稍高”?1. 普通逻辑分支 v

Android协程高级用法大全

《Android协程高级用法大全》这篇文章给大家介绍Android协程高级用法大全,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友跟随小编一起学习吧... 目录1️⃣ 协程作用域(CoroutineScope)与生命周期绑定Activity/Fragment 中手

Linux实现查看某一端口是否开放

《Linux实现查看某一端口是否开放》文章介绍了三种检查端口6379是否开放的方法:通过lsof查看进程占用,用netstat区分TCP/UDP监听状态,以及用telnet测试远程连接可达性... 目录1、使用lsof 命令来查看端口是否开放2、使用netstat 命令来查看端口是否开放3、使用telnet

python判断文件是否存在常用的几种方式

《python判断文件是否存在常用的几种方式》在Python中我们在读写文件之前,首先要做的事情就是判断文件是否存在,否则很容易发生错误的情况,:本文主要介绍python判断文件是否存在常用的几种... 目录1. 使用 os.path.exists()2. 使用 os.path.isfile()3. 使用

Python如何判断字符串中是否包含特殊字符并替换

《Python如何判断字符串中是否包含特殊字符并替换》这篇文章主要为大家详细介绍了如何使用Python实现判断字符串中是否包含特殊字符并使用空字符串替换掉,文中的示例代码讲解详细,感兴趣的小伙伴可以了... 目录python判断字符串中是否包含特殊字符方法一:使用正则表达式方法二:手动检查特定字符Pytho

Python多进程、多线程、协程典型示例解析(最新推荐)

《Python多进程、多线程、协程典型示例解析(最新推荐)》:本文主要介绍Python多进程、多线程、协程典型示例解析(最新推荐),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定... 目录一、multiprocessing(多进程)1. 模块简介2. 案例详解:并行计算平方和3. 实现逻