Python yield和gevent实现协程

2023-12-29 02:08
文章标签 python 实现 yield 协程 gevent

本文主要是介绍Python yield和gevent实现协程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.yield支持下的协程

注：线程和进程都是一种竞争,抢占的资源

协程,又称微线程,纤程。英文名Coroutine.一句话说明什么是协程：协程是一种用户态的轻量线程(单线程)
协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存其他地方，在切回来时，恢复先前保存的寄存器上下文和栈。因此协程保留上一次调用时的状态(即所有局部的一个特定组合),每次过程重入时，就相当于入上一次调用的状态，换种说法：进入上一次离开时所处逻辑流的位置。

2.协程优缺点

协程的好处

  • 无需线程上下文切换的开始
    描述：CPU运行多个任务时,第一个任务先抢到CPU,如果有一个I/O阻塞可以切换到另一个任务上去,这个过程有一个切换，如果两个任务都没有sleep或阻塞,这时也会切换,按照分配的运行时间去切换,两个任务是计算密集型的是不存在I/O阻塞的,就会存在大量的切换,导致效率非常低,在协程中只有一个线程,不存在CPU的切换
  • 无需原子操作锁定及同步的开始
    描述：在多线程中,因为是抢占式的资源,有可能会共同操作数据而导致不安全,所以在这种机制下要加上锁,在协程是单个线程通过用户自行调控什么时候切换,所以避免了数据不安全的情况
  • 方便切换控制流，简化编程的模型
  • 高并发+高扩展+低成本：一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理
    描述：线程并发如开100个线程,就可以实现100个任务的并发，不能无限的开，即使是I/O密集型的要开1万个也无法实现,消耗太大，协程只有一个线程，不存在开销，所以并发理论是无限,如实现并发的Nginx服务，在京东买东西是有一个专门接受用户请求的web服务器,接收大并发的，多用户一起进来要能够处理，nginx内部使用协程来实现，因为协程可以实现的并发效果非常好的，一个线程就通过协程来实现,一个就可能接收上成万个并发,以此类推多起几个.

缺点

  • 无法利用多核资源：协程的本质是个单线程，它不能同时将单个CPU的多个核心用上，协程需要和进程配合才能运行在多CPU上，当然一般日常编写的绝大部分应用都没有这个必要，除非是CPU密集型应用
    分析：可以使用多进程+协程来实现多核的利用,一个线程可以支持协程,如实现1000个并发,不能使用多核,但是进程可以使用多核,可以在进程里起一个线程,并支持协程,可以再开一个进程,起一个线程又可以实现1000个并发
  • 进行阻塞(Blocking)操作(如I/O时)会阻塞掉整个程序
    分析：进程中的线程阻塞会导致整个程序都会停下来
3.yield支持下的协程

分析：支持并发,yield是底层的

执行顺序：p=producer() --> 函数producer --> 函数consumer到yield

[root@node2 threading]# cat exam-yield.py
#!/usr/local/python3/bin/python3
import time
import queue
def consumer(name):print("---starting---")while True:new_baozi = yield            #是一个生成器print("[%s] is eating baozi %s " %(name,new_baozi))#time.sleep(1)def producer():       #只是调用next(con)  #r = con.__next__()   ##从consumer开始执行,到 new_baozi = yield返回,代码执行完,r是yield返回的值next(con3) #r = con2.__next__()  ##从consumer开始执行,到 new_baozi = yield返回,代码执行完,r是yield返回的值n = 0while n < 5:n +=1con.send(n)  #n+1后,就把n发送过去,给生成器对象发送,n第一次是1,发送后是从consumer中new_baozi=yield开始执行,把1给new_baizi,然后开始print说客户要开始吃包子,然后又折回到new_baizi=yield,遇到yield才退出,con.send才真正结束con2.send(n)  #n是1print("\033[32;1m[producer]\033[0m is making baozi %s" %n)if __name__=='__main__':con = consumer("c1")   #调用函数,代码就执行,如果是生成器,不执行,只是生成一个生成器对象con2 = consumer("c2")  #生成器p = producer()         #执行producer函数,p是函数的返回值[root@node2 threading]# python3 exam-yield.py
---starting---
---starting---
[c1] is eating baozi 1
[c2] is eating baozi 1
[producer] is making baozi 1
[c1] is eating baozi 2
[c2] is eating baozi 2
[producer] is making baozi 2
[c1] is eating baozi 3
[c2] is eating baozi 3
[producer] is making baozi 3
[c1] is eating baozi 4
[c2] is eating baozi 4
[producer] is making baozi 4
[c1] is eating baozi 5
[c2] is eating baozi 5
[producer] is making baozi 5

知识回顾：生成器

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：579817333 
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
[root@node2 threading]# cat test2.py
#!/usr/local/python3/bin/python3
def f():print('ok1')yield
print(f())
[root@node2 threading]# python3 test2.py
<generator object f at 0x7fa31a2a4eb8>  #f()创建生成器对象,有了这个对象可以进入到f函数中

返回

[root@node2 threading]# cat test2.py
#!/usr/local/python3/bin/python3
def f():print('ok1')yield
gen =f()
next(gen)  #相当于next进入函数后,执行print,到yield时就返回给调用方(next)
[root@node2 threading]# python3 test2.py
ok1[root@node2 threading]# cat test2.py
#!/usr/local/python3/bin/python3
def f():print('ok1')yield 5print('ok2')yield
gen =f()
ret=next(gen)
print(ret)
[root@node2 threading]# python3 test2.py
ok1
5

与yield交互

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：579817333 
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
[root@node2 threading]# cat test2.py
#!/usr/local/python3/bin/python3
def f():print('ok1')count=yield 5print(count)print('ok2')yield
gen =f()
ret=next(gen)
print(ret)
gen.send(10)   ##send给count
[root@node2 threading]# python3 test2.py
ok1
5
10
ok2
4.gevent下的协程

linux安装gevent库

[root@node2 ~]# pip3 install gevent --trusted-host pypi.douban.com
windows使用pycharm安装gevent
file --> setting  --> Project interpreter  --> 右边添加"+"

分析：两个函数分别打印12，34，另一个打印56，78，有两个任务，以上的例子是使用yield是可以保持住上下文,知道从那里开始继续执行,先创建两个greenlet的对象,gevent中的switch实现不同任务之间切换

[root@node2 threading]# cat gev.py
#!/usr/local/python3/bin/python3
from greenlet import greenlet
def test1():print (12)gr2.switch()    #切换到gr2执行print (34)gr2.switch()def test2():print (56)gr1.switch()   #切换到gr1执行print (78)gr1 = greenlet(test1)   #先创建一个对象,
gr2 = greenlet(test2)
gr1.switch()            #gr1对角调用switch
gr2.switch()
[root@node2 threading]# python3 gev.py  #执行顺序,由于切换变了
12
56
34
78

Gevent是一个第三方库,可以轻松通过gevent实现并发同步或异步编程，在gevent中用到主要模式是Greenlet,它是以C扩展模块形式接入Python的轻量级协程，Greenlet全部运行在主程序操作系统进程的内部，但是它们被称为协作

分析：通过gevent下的joinall进行连接,要完成协程的动作,主要目的是遇到I/O阻塞时切换给其他线程使用,从而节省时间

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：579817333 
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
[root@node2 threading]# cat geve.py
#!/usr/local/python3/bin/python3
import gevent
def foo():print('Running in foo',time.ctime())gevent.sleep(1)            ##模拟I/O阻塞print('Explicit context switch to foo again',time.ctime())def bar():print('Explicit context to bar',time.ctime())gevent.sleep(2)print('Implicit context switch back to bar',time.ctime())gevent.joinall([gevent.spawn(foo), gevent.spawn(bar),])
[root@node2 threading]# python3 geve.py
Running in foo Wed Jun 13 08:17:27 2018
Explicit context to bar Wed Jun 13 08:17:27 2018   #前两个是一个并发
Explicit context switch to foo again Wed Jun 13 08:17:28 2018
Implicit context switch back to bar Wed Jun 13 08:17:29 2018

抓虫v1

[root@node2 threading]# cat pa-v1.py
#!/usr/local/python3/bin/python3
from gevent import monkey;monkey.patch_all()
import gevent
from urllib.request import urlopen   #抓虫所需要的模块def f(url):print('GET: %s' % url)resp = urlopen(url)      #打开一urldata = resp.read()       #把url中的数据都读出with open('reid.html','wb') as f:  #本地创建文件来保存f.write(data)print('%d bytes received from %s.' % (len(data),url))f('http://www.yggk.net/xiaohua/')
[root@node2 threading]# python3 pa-v1.py
GET: http://www.yggk.net/xiaohua/
24813 bytes received from http://www.yggk.net/xiaohua/.

抓虫v2

描述：v1中有I/O阻塞,可以优化,使用for循环抓多个

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：579817333 
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
[root@node2 threading]# cat pa-v2.py
#!/usr/local/python3/bin/python3
from gevent import monkey;monkey.patch_all()  #monkey.pathc_all()可以最大程序上的监听I/O阻塞
import gevent
from urllib.request import urlopen
import timedef f(url):print('GET: %s' % url)resp = urlopen(url)data = resp.read()print('%d bytes received from %s.' % (len(data),url))l = ['https://www.cnblogs.com/','http://www.sina.com/','http://www.sohu.com/']
start=time.time()
for url in l:f(url)
print(time.time()-start)
[root@node2 threading]# python3 pa-v2.py
GET: https://www.cnblogs.com/
45436 bytes received from https://www.cnblogs.com/.
GET: http://www.sina.com/
589950 bytes received from http://www.sina.com/.
GET: http://www.sohu.com/
217682 bytes received from http://www.sohu.com/.
1.1290698051452637

抓虫v3

描述：使用协程

[root@node2 threading]# cat pa-v3.py
#!/usr/local/python3/bin/python3
from gevent import monkey;monkey.patch_all()
import gevent
from urllib.request import urlopen
import timedef f(url):print('GET: %s' % url)resp = urlopen(url)data = resp.read()print('%d bytes received from %s.' % (len(data),url))start=time.time()
gevent.joinall([gevent.spawn(f,'https://www.cnblogs.com/'),   gevent.spawn(f,'http://www.sina.com/'),   gevent.spawn(f,'http://www.sohu.com/'),   ])
print(time.time()-start)
[root@node2 threading]# python3 pa-v3.py
GET: https://www.cnblogs.com/
GET: http://www.sina.com/
GET: http://www.sohu.com/
217682 bytes received from http://www.sohu.com/.
589950 bytes received from http://www.sina.com/.
45436 bytes received from https://www.cnblogs.com/.
0.45133137702941895

这篇关于Python yield和gevent实现协程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/548032。

相关文章

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂？别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图（Line Plot）——趋势分析2. 柱状图（Bar Chart）——对比分析3
阅读更多...
Spring Boot 整合 Redis 实现数据缓存案例详解

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp
阅读更多...
Python模拟串口通信的示例详解

Python模拟串口通信的示例详解

《Python模拟串口通信的示例详解》pySerial是Python中用于操作串口的第三方模块,它支持Windows、Linux、OSX、BSD等多个平台,下面我们就来看看Python如何使用pySe... 目录1.win 下载虚www.chinasem.cn拟串口2、确定串口号3、配置串口4、串口通信示例5
阅读更多...
Kali Linux安装实现教程(亲测有效)

Kali Linux安装实现教程(亲测有效)

《KaliLinux安装实现教程(亲测有效)》：本文主要介绍KaliLinux安装实现教程(亲测有效),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载二、安装总结一、下载1、点http://www.chinasem.cn击链接 Get Kali | Kal
阅读更多...
C#使用MQTTnet实现服务端与客户端的通讯的示例

C#使用MQTTnet实现服务端与客户端的通讯的示例

《C#使用MQTTnet实现服务端与客户端的通讯的示例》本文主要介绍了C#使用MQTTnet实现服务端与客户端的通讯的示例,包括协议特性、连接管理、QoS机制和安全策略,具有一定的参考价值,感兴趣的可... 目录一、MQTT 协议简介二、MQTT 协议核心特性三、MQTTNET 库的核心功能四、服务端（BR
阅读更多...
SpringCloud整合MQ实现消息总线服务方式

SpringCloud整合MQ实现消息总线服务方式

《SpringCloud整合MQ实现消息总线服务方式》：本文主要介绍SpringCloud整合MQ实现消息总线服务方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、背景介绍二、方案实践三、升级版总结一、背景介绍每当修改配置文件内容，如果需要客户端也同步更新，
阅读更多...
Dubbo之SPI机制的实现原理和优势分析

Dubbo之SPI机制的实现原理和优势分析

《Dubbo之SPI机制的实现原理和优势分析》：本文主要介绍Dubbo之SPI机制的实现原理和优势,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Dubbo中SPI机制的实现原理和优势JDK 中的 SPI 机制解析Dubbo 中的 SPI 机制解析总结Dubbo中
阅读更多...
Python Pandas高效处理Excel数据完整指南

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失
阅读更多...
使用Java实现Navicat密码的加密与解密的代码解析

使用Java实现Navicat密码的加密与解密的代码解析

《使用Java实现Navicat密码的加密与解密的代码解析》：本文主要介绍使用Java实现Navicat密码的加密与解密,通过本文,我们了解了如何利用Java语言实现对Navicat保存的数据库密... 目录一、背景介绍二、环境准备三、代码解析四、核心代码展示五、总结在日常开发过程中，我们有时需要处理各种软
阅读更多...
Java 压缩包解压实现代码

Java 压缩包解压实现代码

《Java压缩包解压实现代码》Java标准库（JavaSE）提供了对ZIP格式的原生支持,通过java.util.zip包中的类来实现压缩和解压功能,本文将重点介绍如何使用Java来解压ZIP或RA... 目录一、解压压缩包1.zip解压代码实现:2.rar解压代码实现：3.调用解压方法：二、注意事项三、总
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2