python 协程(yield,greenlet,gevent)

2024-01-13 09:18
文章标签 python yield 协程 gevent greenlet

本文主要是介绍python 协程(yield,greenlet,gevent)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

本章所讲内容：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

18.1  协程的概念

        协程，又称微线程，纤程,也称为用户级线程，在不开辟线程的基础上完成多任务，也就是在单线程的情况下完成多任务，多个任务按照一定顺序交替执行 通俗理解只要在def里面只看到一个yield关键字表示就是协程 协程是也是实现多任务的一种方式

协程yield的代码实现

简单实现协程

def work1():while True:print("----work1---")yieldtime.sleep(0.5)
def work2():while True:print("----work2---")yieldtime.sleep(0.5)
def main():w1 = work1()w2 = work2()while True:next(w1)next(w2)
if __name__ == "__main__":main()
运行结果：

----work1---

----work2---

----work1---

----work2---

...省略...

小结:

协程之间执行任务按照一定顺序交替执行

18.2  Greenlet模块

18.2.1 greentlet的介绍

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单！

使用命令安装greenlet模块:pip3 install greenlet

import time
import greenlet
def work1():for i in range(5):print('work1...')time.sleep(0.2)#切换到协程2里面执行对应的任务g2.switch()
#任务2
def work2():for i in range(5):print('work2...')time.sleep(0.2)#切换到第一个协程执行对应的任务g1.switch()
if __name__ == '__main__':#创建协程指定的对应任务g1 = greenlet.greenlet(work1)g2 = greenlet.greenlet(work2)#切换到第一个协程执行对应的任务g1.switch()

运行结果如下：

work1...

work2...

work1...

work2...

work1...

work2...

……

18.3  Gevent

18.3.1  Gevent的介绍

Greenlet已经实现了协程，但是这个还要人工切换，这里介绍一个比Greenlet更强大而且能够自动切换任务的第三方库，那就是Gevent。

Gevent内部封装的Greenlet，其原理是当一个Greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的Greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了Gevent为我们自动切换协程，就保证总有Greenlet在运行，而不是等待IO

安装：pip3 install gevent

1. gevent的使用

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果如下：

<Greenlet at 0x10e49f550: f(5)> 0

<Greenlet at 0x10e49f550: f(5)> 1

<Greenlet at 0x10e49f550: f(5)> 2

<Greenlet at 0x10e49f550: f(5)> 3

<Greenlet at 0x10e49f550: f(5)> 4

<Greenlet at 0x10e49f910: f(5)> 0

……

可以看到，3个greenlet是依次运行而不是交替运行

18.3.2  gevent切换执行

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)gevent.sleep(1)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果

<Greenlet at 0x7fa70ffa1c30: f(5)> 0

<Greenlet at 0x7fa70ffa1870: f(5)> 0

<Greenlet at 0x7fa70ffa1eb0: f(5)> 0

<Greenlet at 0x7fa70ffa1c30: f(5)> 1

<Greenlet at 0x7fa70ffa1870: f(5)> 1

<Greenlet at 0x7fa70ffa1eb0: f(5)> 1

<Greenlet at 0x7fa70ffa1c30: f(5)> 2

<Greenlet at 0x7fa70ffa1870: f(5)> 2

<Greenlet at 0x7fa70ffa1eb0: f(5)> 2

<Greenlet at 0x7fa70ffa1c30: f(5)> 3

<Greenlet at 0x7fa70ffa1870: f(5)> 3

<Greenlet at 0x7fa70ffa1eb0: f(5)> 3

<Greenlet at 0x7fa70ffa1c30: f(5)> 4

<Greenlet at 0x7fa70ffa1870: f(5)> 4

<Greenlet at 0x7fa70ffa1eb0: f(5)> 4

18.3.3 给程序打补丁

import gevent
import time
from gevent import monkey# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)# 主线程等待协程执行完成以后程序再退出g1.join()g2.join()

运行结果

work1....

work2....

work1....

work2....

work1....

work2....

 注意：

当前程序是一个死循环并且还能有耗时操作，就不需要加上join方法了,因为程序需要一直运行不会退出

示例代码

import gevent
import time
from gevent import monkey
# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)
if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)while True:print("主线程中执行")time.sleep(0.5)

运行结果如下:

主线程中执行

work1....

work2....

work1....

work2....

work1....

work2....

主线程中执行

主线程中执行

主线程中执行

使用gevent完成多任务图片下载

 

   多图片下载任务！

import gevent
import urllib.request # 网络请求模块
from gevent import monkey
# 打补丁： 让gevent使用网络请求的耗时操作，让协程自动切换执行对应的下载任务
monkey.patch_all()
# 根据图片地址下载对应的图片def download_img(img_url, img_name):try:print(img_url)# 根据图片地址打开网络资源数据response = urllib.request.urlopen(img_url)# 创建文件把数据写入到指定文件里面with open(img_name, "wb") as img_file:while True:# 读取网络图片数据img_data = response.read(1024)if img_data:# 把数据写入到指定文件里面img_file.write(img_data)else:breakexcept Exception as e:print("图片下载异常:", e)else:print("图片下载成功: %s" % img_name)
if __name__ == '__main__':# 准备图片地址img_url1 = 'http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg'img_url2 = "http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg"img_url3 = "http://p3.so.qhmsg.com/bdr/864__/t01f9daf42a666bb408.jpg"# 创建协程指派对应的任务g1 = gevent.spawn(download_img, img_url1, "1.jpg")g2 = gevent.spawn(download_img, img_url2, "2.jpg")g3 = gevent.spawn(download_img, img_url3, "3.jpg")# 主线程等待所有的协程执行完成以后程序再退出gevent.joinall([g1, g2, g3])

运行结果如下：

http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg

http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg

http://p1.so.qhimgs1.com/bdr/594__/t012c11259e883bbc8d.jpg

图片下载成功: 2.jpg

图片下载成功: 1.jpg

图片下载成功: 3.jpg

分析：

从上面的结果可以看到依次根据图片地址去下载，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定

import gevent,requests
from gevent import monkey
from urllib import request
monkey.patch_all()
def download_img(num):print('start download')url = 'http://image.so.com/zj?ch=beauty&sn=30&listtype=new&temp=1'headers = {'Referer': 'http://image.so.com/z?ch=beauty','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}str_data = '''ch: beautysn: 120listtype: newtemp: 1'''send_data = {}for data in str_data.splitlines():line_data = data.split(': ')if len(line_data) == 2:key, value = line_dataif key and value:send_data[key] = valuesend_data['sn'] = eval(str(num)+'*'+'30')response = requests.get(url, headers=headers, params=send_data)json_data = response.json()['list']for index, src in enumerate(json_data):image_url = src['qhimg_url']try:image_name = './360_image/' + image_url[-8:]request.urlretrieve(url=image_url, filename=image_name)except Exception as e:print(e)else:print('{} is download'.format(image_name))print('image is download')
if __name__ == '__main__':num = int(input('请输入你想要的组:'))# gevent_list = []# for i in range(1,num+1):#     gevent_list.append(gevent.spawn(download_img,i))gevent.joinall([gevent.spawn(download_img,i) for i in range(1,num+1)])

运行结果如下：

总结：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

 

这篇关于python 协程(yield,greenlet,gevent)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/600958。

相关文章

Python中模块graphviz使用入门

Python中模块graphviz使用入门

《Python中模块graphviz使用入门》graphviz是一个用于创建和操作图形的Python库,本文主要介绍了Python中模块graphviz使用入门,具有一定的参考价值,感兴趣的可以了解一... 目录1.安装2. 基本用法2.1 输出图像格式2.2 图像style设置2.3 属性2.4 子图和聚
阅读更多...
Python使用Matplotlib绘制3D曲面图详解

Python使用Matplotlib绘制3D曲面图详解

《Python使用Matplotlib绘制3D曲面图详解》：本文主要介绍Python使用Matplotlib绘制3D曲面图,在Python中,使用Matplotlib库绘制3D曲面图可以通过mpl... 目录准备工作绘制简单的 3D 曲面图绘制 3D 曲面图添加线框和透明度控制图形视角Matplotlib
阅读更多...
一文教你Python如何快速精准抓取网页数据

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例
阅读更多...
使用Python实现IP地址和端口状态检测与监控

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述：为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展
阅读更多...
基于Python打造一个智能单词管理神器

基于Python打造一个智能单词管理神器

《基于Python打造一个智能单词管理神器》这篇文章主要为大家详细介绍了如何使用Python打造一个智能单词管理神器,从查询到导出的一站式解决,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 项目概述：为什么需要这个工具2. 环境搭建与快速入门2.1 环境要求2.2 首次运行配置3. 核心功能使用指
阅读更多...
Python实现微信自动锁定工具

Python实现微信自动锁定工具

《Python实现微信自动锁定工具》在数字化办公时代,微信已成为职场沟通的重要工具,但临时离开时忘记锁屏可能导致敏感信息泄露,下面我们就来看看如何使用Python打造一个微信自动锁定工具吧... 目录引言：当微信隐私遇到自动化守护效果展示核心功能全景图技术亮点深度解析1. 无操作检测引擎2. 微信路径智能获
阅读更多...
Python中pywin32 常用窗口操作的实现

Python中pywin32 常用窗口操作的实现

《Python中pywin32常用窗口操作的实现》本文主要介绍了Python中pywin32常用窗口操作的实现,pywin32主要的作用是供Python开发者快速调用WindowsAPI的一个... 目录获取窗口句柄获取最前端窗口句柄获取指定坐标处的窗口根据窗口的完整标题匹配获取句柄根据窗口的类别匹配获取句
阅读更多...
利用Python打造一个Excel记账模板

利用Python打造一个Excel记账模板

《利用Python打造一个Excel记账模板》这篇文章主要为大家详细介绍了如何使用Python打造一个超实用的Excel记账模板,可以帮助大家高效管理财务,迈向财富自由之路,感兴趣的小伙伴快跟随小编一... 目录设置预算百分比超支标红预警记账模板功能介绍基础记账预算管理可视化分析摸鱼时间理财法碎片时间利用财
阅读更多...
Python中的Walrus运算符分析示例详解

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符（:=）是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑
阅读更多...
python处理带有时区的日期和时间数据

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2