python 协程(yield,greenlet,gevent)

2024-01-13 09:18
文章标签 python yield 协程 gevent greenlet

本文主要是介绍python 协程(yield,greenlet,gevent)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

本章所讲内容：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

18.1  协程的概念

        协程，又称微线程，纤程,也称为用户级线程，在不开辟线程的基础上完成多任务，也就是在单线程的情况下完成多任务，多个任务按照一定顺序交替执行 通俗理解只要在def里面只看到一个yield关键字表示就是协程 协程是也是实现多任务的一种方式

协程yield的代码实现

简单实现协程

def work1():while True:print("----work1---")yieldtime.sleep(0.5)
def work2():while True:print("----work2---")yieldtime.sleep(0.5)
def main():w1 = work1()w2 = work2()while True:next(w1)next(w2)
if __name__ == "__main__":main()
运行结果：

----work1---

----work2---

----work1---

----work2---

...省略...

小结:

协程之间执行任务按照一定顺序交替执行

18.2  Greenlet模块

18.2.1 greentlet的介绍

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单！

使用命令安装greenlet模块:pip3 install greenlet

import time
import greenlet
def work1():for i in range(5):print('work1...')time.sleep(0.2)#切换到协程2里面执行对应的任务g2.switch()
#任务2
def work2():for i in range(5):print('work2...')time.sleep(0.2)#切换到第一个协程执行对应的任务g1.switch()
if __name__ == '__main__':#创建协程指定的对应任务g1 = greenlet.greenlet(work1)g2 = greenlet.greenlet(work2)#切换到第一个协程执行对应的任务g1.switch()

运行结果如下：

work1...

work2...

work1...

work2...

work1...

work2...

……

18.3  Gevent

18.3.1  Gevent的介绍

Greenlet已经实现了协程，但是这个还要人工切换，这里介绍一个比Greenlet更强大而且能够自动切换任务的第三方库，那就是Gevent。

Gevent内部封装的Greenlet，其原理是当一个Greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的Greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了Gevent为我们自动切换协程，就保证总有Greenlet在运行，而不是等待IO

安装：pip3 install gevent

1. gevent的使用

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果如下：

<Greenlet at 0x10e49f550: f(5)> 0

<Greenlet at 0x10e49f550: f(5)> 1

<Greenlet at 0x10e49f550: f(5)> 2

<Greenlet at 0x10e49f550: f(5)> 3

<Greenlet at 0x10e49f550: f(5)> 4

<Greenlet at 0x10e49f910: f(5)> 0

……

可以看到，3个greenlet是依次运行而不是交替运行

18.3.2  gevent切换执行

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)gevent.sleep(1)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果

<Greenlet at 0x7fa70ffa1c30: f(5)> 0

<Greenlet at 0x7fa70ffa1870: f(5)> 0

<Greenlet at 0x7fa70ffa1eb0: f(5)> 0

<Greenlet at 0x7fa70ffa1c30: f(5)> 1

<Greenlet at 0x7fa70ffa1870: f(5)> 1

<Greenlet at 0x7fa70ffa1eb0: f(5)> 1

<Greenlet at 0x7fa70ffa1c30: f(5)> 2

<Greenlet at 0x7fa70ffa1870: f(5)> 2

<Greenlet at 0x7fa70ffa1eb0: f(5)> 2

<Greenlet at 0x7fa70ffa1c30: f(5)> 3

<Greenlet at 0x7fa70ffa1870: f(5)> 3

<Greenlet at 0x7fa70ffa1eb0: f(5)> 3

<Greenlet at 0x7fa70ffa1c30: f(5)> 4

<Greenlet at 0x7fa70ffa1870: f(5)> 4

<Greenlet at 0x7fa70ffa1eb0: f(5)> 4

18.3.3 给程序打补丁

import gevent
import time
from gevent import monkey# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)# 主线程等待协程执行完成以后程序再退出g1.join()g2.join()

运行结果

work1....

work2....

work1....

work2....

work1....

work2....

 注意：

当前程序是一个死循环并且还能有耗时操作，就不需要加上join方法了,因为程序需要一直运行不会退出

示例代码

import gevent
import time
from gevent import monkey
# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)
if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)while True:print("主线程中执行")time.sleep(0.5)

运行结果如下:

主线程中执行

work1....

work2....

work1....

work2....

work1....

work2....

主线程中执行

主线程中执行

主线程中执行

使用gevent完成多任务图片下载

 

   多图片下载任务！

import gevent
import urllib.request # 网络请求模块
from gevent import monkey
# 打补丁： 让gevent使用网络请求的耗时操作，让协程自动切换执行对应的下载任务
monkey.patch_all()
# 根据图片地址下载对应的图片def download_img(img_url, img_name):try:print(img_url)# 根据图片地址打开网络资源数据response = urllib.request.urlopen(img_url)# 创建文件把数据写入到指定文件里面with open(img_name, "wb") as img_file:while True:# 读取网络图片数据img_data = response.read(1024)if img_data:# 把数据写入到指定文件里面img_file.write(img_data)else:breakexcept Exception as e:print("图片下载异常:", e)else:print("图片下载成功: %s" % img_name)
if __name__ == '__main__':# 准备图片地址img_url1 = 'http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg'img_url2 = "http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg"img_url3 = "http://p3.so.qhmsg.com/bdr/864__/t01f9daf42a666bb408.jpg"# 创建协程指派对应的任务g1 = gevent.spawn(download_img, img_url1, "1.jpg")g2 = gevent.spawn(download_img, img_url2, "2.jpg")g3 = gevent.spawn(download_img, img_url3, "3.jpg")# 主线程等待所有的协程执行完成以后程序再退出gevent.joinall([g1, g2, g3])

运行结果如下：

http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg

http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg

http://p1.so.qhimgs1.com/bdr/594__/t012c11259e883bbc8d.jpg

图片下载成功: 2.jpg

图片下载成功: 1.jpg

图片下载成功: 3.jpg

分析：

从上面的结果可以看到依次根据图片地址去下载，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定

import gevent,requests
from gevent import monkey
from urllib import request
monkey.patch_all()
def download_img(num):print('start download')url = 'http://image.so.com/zj?ch=beauty&sn=30&listtype=new&temp=1'headers = {'Referer': 'http://image.so.com/z?ch=beauty','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}str_data = '''ch: beautysn: 120listtype: newtemp: 1'''send_data = {}for data in str_data.splitlines():line_data = data.split(': ')if len(line_data) == 2:key, value = line_dataif key and value:send_data[key] = valuesend_data['sn'] = eval(str(num)+'*'+'30')response = requests.get(url, headers=headers, params=send_data)json_data = response.json()['list']for index, src in enumerate(json_data):image_url = src['qhimg_url']try:image_name = './360_image/' + image_url[-8:]request.urlretrieve(url=image_url, filename=image_name)except Exception as e:print(e)else:print('{} is download'.format(image_name))print('image is download')
if __name__ == '__main__':num = int(input('请输入你想要的组:'))# gevent_list = []# for i in range(1,num+1):#     gevent_list.append(gevent.spawn(download_img,i))gevent.joinall([gevent.spawn(download_img,i) for i in range(1,num+1)])

运行结果如下：

总结：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

 

这篇关于python 协程(yield,greenlet,gevent)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/600958。

相关文章

Python实现Word转PDF全攻略(从入门到实战)

Python实现Word转PDF全攻略(从入门到实战)

《Python实现Word转PDF全攻略(从入门到实战)》在数字化办公场景中,Word文档的跨平台兼容性始终是个难题,而PDF格式凭借所见即所得的特性,已成为文档分发和归档的标准格式,下面小编就来和大... 目录一、为什么需要python处理Word转PDF？二、主流转换方案对比三、五套实战方案详解方案1：
阅读更多...
基于Python Playwright进行前端性能测试的脚本实现

基于Python Playwright进行前端性能测试的脚本实现

《基于PythonPlaywright进行前端性能测试的脚本实现》在当今Web应用开发中,性能优化是提升用户体验的关键因素之一,本文将介绍如何使用Playwright构建一个自动化性能测试工具,希望... 目录引言工具概述整体架构核心实现解析1. 浏览器初始化2. 性能数据收集3. 资源分析4. 关键性能指
阅读更多...
使用Python的requests库调用API接口的详细步骤

使用Python的requests库调用API接口的详细步骤

《使用Python的requests库调用API接口的详细步骤》使用Python的requests库调用API接口是开发中最常用的方式之一,它简化了HTTP请求的处理流程,以下是详细步骤和实战示例,涵... 目录一、准备工作：安装 requests 库二、基本调用流程（以 RESTful API 为例）1.
阅读更多...
Python清空Word段落样式的三种方法

Python清空Word段落样式的三种方法

《Python清空Word段落样式的三种方法》：本文主要介绍如何用python-docx库清空Word段落样式,提供三种方法：设置为Normal样式、清除直接格式、创建新Normal样式,注意需重... 目录方法一：直接设置段落样式为"Normal"方法二：清除所有直接格式设置方法三：创建新的Normal样
阅读更多...
Python调用LibreOffice处理自动化文档的完整指南

Python调用LibreOffice处理自动化文档的完整指南

《Python调用LibreOffice处理自动化文档的完整指南》在数字化转型的浪潮中,文档处理自动化已成为提升效率的关键,LibreOffice作为开源办公软件的佼佼者,其命令行功能结合Python... 目录引言一、环境搭建：三步构建自动化基石1. 安装LibreOffice与python2. 验证安装
阅读更多...
把Python列表中的元素移动到开头的三种方法

把Python列表中的元素移动到开头的三种方法

《把Python列表中的元素移动到开头的三种方法》在Python编程中,我们经常需要对列表（list）进行操作,有时,我们希望将列表中的某个元素移动到最前面,使其成为第一项,本文给大家介绍了把Pyth... 目录一、查找删除插入法1. 找到元素的索引2. 移除元素3. 插入到列表开头二、使用列表切片（Lis
阅读更多...
Python按照24个实用大方向精选的上千种工具库汇总整理

Python按照24个实用大方向精选的上千种工具库汇总整理

《Python按照24个实用大方向精选的上千种工具库汇总整理》本文整理了Python生态中近千个库,涵盖数据处理、图像处理、网络开发、Web框架、人工智能、科学计算、GUI工具、测试框架、环境管理等多... 目录1、数据处理文本处理特殊文本处理html/XML 解析文件处理配置文件处理文档相关日志管理日期和
阅读更多...
Python标准库datetime模块日期和时间数据类型解读

Python标准库datetime模块日期和时间数据类型解读

《Python标准库datetime模块日期和时间数据类型解读》文章介绍Python中datetime模块的date、time、datetime类,用于处理日期、时间及日期时间结合体,通过属性获取时间... 目录Datetime常用类日期date类型使用时间 time 类型使用日期和时间的结合体–日期时间(
阅读更多...
使用Python开发一个Ditto剪贴板数据导出工具

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3
阅读更多...
Python yield与yield from的简单使用方式

Python yield与yield from的简单使用方式

《Pythonyield与yieldfrom的简单使用方式》生成器通过yield定义,可在处理I/O时暂停执行并返回部分结果,待其他任务完成后继续,yieldfrom用于将一个生成器的值传递给另一... 目录python yield与yield from的使用代码结构总结Python yield与yield
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2