python 协程(yield,greenlet,gevent)

2024-01-13 09:18
文章标签 python yield 协程 gevent greenlet

本文主要是介绍python 协程(yield,greenlet,gevent)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

本章所讲内容：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

18.1  协程的概念

        协程，又称微线程，纤程,也称为用户级线程，在不开辟线程的基础上完成多任务，也就是在单线程的情况下完成多任务，多个任务按照一定顺序交替执行 通俗理解只要在def里面只看到一个yield关键字表示就是协程 协程是也是实现多任务的一种方式

协程yield的代码实现

简单实现协程

def work1():while True:print("----work1---")yieldtime.sleep(0.5)
def work2():while True:print("----work2---")yieldtime.sleep(0.5)
def main():w1 = work1()w2 = work2()while True:next(w1)next(w2)
if __name__ == "__main__":main()
运行结果：

----work1---

----work2---

----work1---

----work2---

...省略...

小结:

协程之间执行任务按照一定顺序交替执行

18.2  Greenlet模块

18.2.1 greentlet的介绍

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单！

使用命令安装greenlet模块:pip3 install greenlet

import time
import greenlet
def work1():for i in range(5):print('work1...')time.sleep(0.2)#切换到协程2里面执行对应的任务g2.switch()
#任务2
def work2():for i in range(5):print('work2...')time.sleep(0.2)#切换到第一个协程执行对应的任务g1.switch()
if __name__ == '__main__':#创建协程指定的对应任务g1 = greenlet.greenlet(work1)g2 = greenlet.greenlet(work2)#切换到第一个协程执行对应的任务g1.switch()

运行结果如下：

work1...

work2...

work1...

work2...

work1...

work2...

……

18.3  Gevent

18.3.1  Gevent的介绍

Greenlet已经实现了协程，但是这个还要人工切换，这里介绍一个比Greenlet更强大而且能够自动切换任务的第三方库，那就是Gevent。

Gevent内部封装的Greenlet，其原理是当一个Greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的Greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了Gevent为我们自动切换协程，就保证总有Greenlet在运行，而不是等待IO

安装：pip3 install gevent

1. gevent的使用

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果如下：

<Greenlet at 0x10e49f550: f(5)> 0

<Greenlet at 0x10e49f550: f(5)> 1

<Greenlet at 0x10e49f550: f(5)> 2

<Greenlet at 0x10e49f550: f(5)> 3

<Greenlet at 0x10e49f550: f(5)> 4

<Greenlet at 0x10e49f910: f(5)> 0

……

可以看到，3个greenlet是依次运行而不是交替运行

18.3.2  gevent切换执行

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)gevent.sleep(1)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果

<Greenlet at 0x7fa70ffa1c30: f(5)> 0

<Greenlet at 0x7fa70ffa1870: f(5)> 0

<Greenlet at 0x7fa70ffa1eb0: f(5)> 0

<Greenlet at 0x7fa70ffa1c30: f(5)> 1

<Greenlet at 0x7fa70ffa1870: f(5)> 1

<Greenlet at 0x7fa70ffa1eb0: f(5)> 1

<Greenlet at 0x7fa70ffa1c30: f(5)> 2

<Greenlet at 0x7fa70ffa1870: f(5)> 2

<Greenlet at 0x7fa70ffa1eb0: f(5)> 2

<Greenlet at 0x7fa70ffa1c30: f(5)> 3

<Greenlet at 0x7fa70ffa1870: f(5)> 3

<Greenlet at 0x7fa70ffa1eb0: f(5)> 3

<Greenlet at 0x7fa70ffa1c30: f(5)> 4

<Greenlet at 0x7fa70ffa1870: f(5)> 4

<Greenlet at 0x7fa70ffa1eb0: f(5)> 4

18.3.3 给程序打补丁

import gevent
import time
from gevent import monkey# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)# 主线程等待协程执行完成以后程序再退出g1.join()g2.join()

运行结果

work1....

work2....

work1....

work2....

work1....

work2....

 注意：

当前程序是一个死循环并且还能有耗时操作，就不需要加上join方法了,因为程序需要一直运行不会退出

示例代码

import gevent
import time
from gevent import monkey
# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)
if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)while True:print("主线程中执行")time.sleep(0.5)

运行结果如下:

主线程中执行

work1....

work2....

work1....

work2....

work1....

work2....

主线程中执行

主线程中执行

主线程中执行

使用gevent完成多任务图片下载

 

   多图片下载任务！

import gevent
import urllib.request # 网络请求模块
from gevent import monkey
# 打补丁： 让gevent使用网络请求的耗时操作，让协程自动切换执行对应的下载任务
monkey.patch_all()
# 根据图片地址下载对应的图片def download_img(img_url, img_name):try:print(img_url)# 根据图片地址打开网络资源数据response = urllib.request.urlopen(img_url)# 创建文件把数据写入到指定文件里面with open(img_name, "wb") as img_file:while True:# 读取网络图片数据img_data = response.read(1024)if img_data:# 把数据写入到指定文件里面img_file.write(img_data)else:breakexcept Exception as e:print("图片下载异常:", e)else:print("图片下载成功: %s" % img_name)
if __name__ == '__main__':# 准备图片地址img_url1 = 'http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg'img_url2 = "http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg"img_url3 = "http://p3.so.qhmsg.com/bdr/864__/t01f9daf42a666bb408.jpg"# 创建协程指派对应的任务g1 = gevent.spawn(download_img, img_url1, "1.jpg")g2 = gevent.spawn(download_img, img_url2, "2.jpg")g3 = gevent.spawn(download_img, img_url3, "3.jpg")# 主线程等待所有的协程执行完成以后程序再退出gevent.joinall([g1, g2, g3])

运行结果如下：

http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg

http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg

http://p1.so.qhimgs1.com/bdr/594__/t012c11259e883bbc8d.jpg

图片下载成功: 2.jpg

图片下载成功: 1.jpg

图片下载成功: 3.jpg

分析：

从上面的结果可以看到依次根据图片地址去下载，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定

import gevent,requests
from gevent import monkey
from urllib import request
monkey.patch_all()
def download_img(num):print('start download')url = 'http://image.so.com/zj?ch=beauty&sn=30&listtype=new&temp=1'headers = {'Referer': 'http://image.so.com/z?ch=beauty','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}str_data = '''ch: beautysn: 120listtype: newtemp: 1'''send_data = {}for data in str_data.splitlines():line_data = data.split(': ')if len(line_data) == 2:key, value = line_dataif key and value:send_data[key] = valuesend_data['sn'] = eval(str(num)+'*'+'30')response = requests.get(url, headers=headers, params=send_data)json_data = response.json()['list']for index, src in enumerate(json_data):image_url = src['qhimg_url']try:image_name = './360_image/' + image_url[-8:]request.urlretrieve(url=image_url, filename=image_name)except Exception as e:print(e)else:print('{} is download'.format(image_name))print('image is download')
if __name__ == '__main__':num = int(input('请输入你想要的组:'))# gevent_list = []# for i in range(1,num+1):#     gevent_list.append(gevent.spawn(download_img,i))gevent.joinall([gevent.spawn(download_img,i) for i in range(1,num+1)])

运行结果如下：

总结：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

 

这篇关于python 协程(yield,greenlet,gevent)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/600958。

相关文章

基于Python编写一个git自动上传的脚本(打包成exe)

基于Python编写一个git自动上传的脚本(打包成exe)

《基于Python编写一个git自动上传的脚本(打包成exe)》这篇文章主要为大家详细介绍了如何基于Python编写一个git自动上传的脚本并打包成exe,文中的示例代码讲解详细,感兴趣的小伙伴可以跟... 目录前言效果如下源码实现利用pyinstaller打包成exe利用ResourceHacker修改e
阅读更多...
Python在二进制文件中进行数据搜索的实战指南

Python在二进制文件中进行数据搜索的实战指南

《Python在二进制文件中进行数据搜索的实战指南》在二进制文件中搜索特定数据是编程中常见的任务,尤其在日志分析、程序调试和二进制数据处理中尤为重要,下面我们就来看看如何使用Python实现这一功能吧... 目录简介1. 二进制文件搜索概述2. python二进制模式文件读取（rb）2.1 二进制模式与文本
阅读更多...
Python中Tkinter GUI编程详细教程

Python中Tkinter GUI编程详细教程

《Python中TkinterGUI编程详细教程》Tkinter作为Python编程语言中构建GUI的一个重要组件,其教程对于任何希望将Python应用到实际编程中的开发者来说都是宝贵的资源,这篇文... 目录前言1. Tkinter 简介2. 第一个 Tkinter 程序3. 窗口和基础组件3.1 创建窗
阅读更多...
Django调用外部Python程序的完整项目实战

Django调用外部Python程序的完整项目实战

《Django调用外部Python程序的完整项目实战》Django是一个强大的PythonWeb框架,它的设计理念简洁优雅,：本文主要介绍Django调用外部Python程序的完整项目实战,文中通... 目录一、为什么 Django 需要调用外部 python 程序二、三种常见的调用方式方式 1：直接 im
阅读更多...
Python字符串处理方法超全攻略

Python字符串处理方法超全攻略

《Python字符串处理方法超全攻略》字符串可以看作多个字符的按照先后顺序组合,相当于就是序列结构,意味着可以对它进行遍历、切片,：本文主要介绍Python字符串处理方法的相关资料,文中通过代码介... 目录一、基础知识：字符串的“不可变”特性与创建方式二、常用操作：80%场景的“万能工具箱”三、格式化方法
阅读更多...
浅析python如何去掉字符串中最后一个字符

浅析python如何去掉字符串中最后一个字符

《浅析python如何去掉字符串中最后一个字符》在Python中,字符串是不可变对象,因此无法直接修改原字符串,但可以通过生成新字符串的方式去掉最后一个字符,本文整理了三种高效方法,希望对大家有所帮助... 目录方法1：切片操作（最推荐）方法2：长度计算索引方法3：拼接剩余字符（不推荐，仅作演示）关键注意事
阅读更多...
python版本切换工具pyenv的安装及用法

python版本切换工具pyenv的安装及用法

《python版本切换工具pyenv的安装及用法》Pyenv是管理Python版本的最佳工具之一,特别适合开发者和需要切换多个Python版本的用户,：本文主要介绍python版本切换工具pyen... 目录Pyenv 是什么？安装 Pyenv（MACOS）使用 Homebrew：配置 shell（zsh
阅读更多...
Python自动化提取多个Word文档的文本

Python自动化提取多个Word文档的文本

《Python自动化提取多个Word文档的文本》在日常工作和学习中,我们经常需要处理大量的Word文档,本文将深入探讨如何利用Python批量提取Word文档中的文本内容,帮助你解放生产力,感兴趣的小... 目录为什么需要批量提取Word文档文本批量提取Word文本的核心技术与工具安装 Spire.Doc
阅读更多...
Python中Request的安装以及简单的使用方法图文教程

Python中Request的安装以及简单的使用方法图文教程

《Python中Request的安装以及简单的使用方法图文教程》python里的request库经常被用于进行网络爬虫,想要学习网络爬虫的同学必须得安装request这个第三方库,：本文主要介绍P... 目录1.Requests 安装cmd 窗口安装为pycharm安装在pycharm设置中为项目安装req
阅读更多...
Python容器转换与共有函数举例详解

Python容器转换与共有函数举例详解

《Python容器转换与共有函数举例详解》Python容器是Python编程语言中非常基础且重要的概念,它们提供了数据的存储和组织方式,下面：本文主要介绍Python容器转换与共有函数的相关资料,... 目录python容器转换与共有函数详解一、容器类型概览二、容器类型转换1. 基本容器转换2. 高级转换示
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2