Python多进程、多线程、协程典型示例解析(最新推荐)

2025-05-20 02:50

本文主要是介绍Python多进程、多线程、协程典型示例解析(最新推荐),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《Python多进程、多线程、协程典型示例解析(最新推荐)》:本文主要介绍Python多进程、多线程、协程典型示例解析(最新推荐),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定...

一、multiprocessing(多进程)

1. 模块简介

  • 作用:创建多个独立运行的进程(每个进程有独立内存空间)
  • 适用场景:数学计算、图像处理等CPU密集型任务
  • 核心原理:绕过python的GIL锁,真正利用多核CPU

2. 案例详解:并行计算平方和

import multiprocessing
import time
# 计算平方的任务函数
def calculate_square(number):
    total = 0
    for n in range(number):
        total += n ** 2
    print(f"计算结果:{total}")
if __name__ == "__main__":  # 必须加这句,否则Windows系统会报错
    # 创建4个进程
    processes = []
    numbers = [10_000_000, 10_000_000, 10_000_000, 10_000_000]  # 四个大数
    # 记录开始时间
    start_time = time.time()
    # 创建并启动进程
    for num in numbers:
        p = multiprocessing.Process(targeChina编程t=calculate_square, args=(num,))
        processes.append(p)
        p.start()  # 启动进程(会立即返回,不会等待完成)
    # 等待所有进程完成
    for p in processes:
        p.join()  # 阻塞主进程,直到子进程结束
 python   # 计算总耗时
    print(f"总耗时:{time.time() - start_time:.2f}秒")

3. 实现逻辑

主进程(老板)
   │
   ├─ 子进程1(员工1)→ 独立计算
   ├─ 子进程2(员工2)→ 独立计算
   ├─ 子进程3(员工3)→ 独立计算
   └─ 子进程4(员工4)→ 独立计算

4. 注意事项

  • 进程间不能直接共享变量,需使用QueuePipe通信
  • 每个进程消耗更多内存(独立内存空间)
  • 适合处理相互独立的任务(如同时处理多个文件)

二、threading(多线程)

1. 模块简介

  • 作用:创建多个线程(共享同一进程内存)
  • 适用场景:文件读写、网络请求等I/O等待型任务
  • 核心特点:受GIL限制,同一时刻只能有一个线程执行Python字节码

2. 案例详解:同时下载文件与显示进度条

import threading
import time
import requests
# 全局变量(线程共享)
download_complete = False
def download_file(url):
    global download_complete
    print("开始下载文件...")
    response = requests.get(url)
    with open("bigfile.iso", "wb") as f:
        f.write(response.content)
    androiddownload_complete = True
    print("\n下载完成!")
def show_progress():
    while not download_complete:
        print(".", end="", flush=True)  # 不换行输出点
        time.sleep(0.5)
if __name__ == "__main__":
    # 创建两个线程
    download_thread = threading.Thread(
        target=download_file, 
        args=("https://example.com/large-file.iso",)
    )
    progress_thread = threading.Thread(target=show_progress)
    # 启动线程
    download_thread.start()
    progress_thread.start()
    # 等待下载线程完成
    download_thread.join()
    progress_thread.join()  # 需要手动停止进度条线程

3. 实现逻辑

主线程
   │
   ├─ 下载线程 → 执行下载(遇到网络等待时,GIL释放)
   └─ 进度条线程 → www.chinasem.cn打印进度点

4. 注意事项

  • 共享变量需使用Lock避免数据竞争
  • 线程适合需要频繁共享数据的场景(如GUI程序)
  • 不要用多线程做数学计算(反而会更慢)

三、asyncio(协程)

1. 模块简介

  • 作用:单线程内通过任务切换实现高并发
  • 适用场景:Web服务器、高频I/O操作(如爬虫)
  • 核心机制:事件循环(Event Loop)驱动协程切换

2. 案例详解:异步批量请求网页

import asyncio
import aiohttp  # 需要安装:pip install aiohttp
async def fetch_page(url):
    async with aiohttp.ClientSession() as session:  # 创建会话
        async with session.get(url) as response:    # 发起请求
            return await response.text()           # 异步等待响应
async def main():
    urls = [
        "https://www.baidu.com",
        "https://www.taobao.com",
        "https://www.jd.com"
    ]
    # 创建任务列表
    tasks = [fetch_page(url) for url in urls]
    # 并行执行所有任务
    pages = await asyncio.gather(*tasks)  # 关键点:聚集任务
    # 输出结果
    for url, content in zip(urls, pages):
        print(f"{url} → 长度:{len(content)}")
# 启动事件循环
asyncio.run(main())  # Python 3.7+

3. 实现逻辑

事件循环(总调度员)
   │
  &npythonbsp;├─ 任务1:请求百度 → 遇到等待 → 挂起
   ├─ 任务2:请求淘宝 → 遇到等待 → 挂起
   └─ 任务3:请求京东 → 遇到等待 → 挂起
   
当某个请求返回时,恢复对应任务执行

4. 注意事项

  • 协程函数必须用async def定义
  • 阻塞操作必须用await(否则会阻塞整个事件循环)
  • 需要配合异步库使用(如aiohttp代替requests

三者的核心区别总结

特性multiprocessingthreadingasyncio
并行能力真正多核并行伪并行(受GIL限制)单线程并发
内存占用高(独立内存空间)低(共享内存)最低
适用场景CPU密集型任务I/O密集型任务超高并发I/O任务
代码复杂度中等(需处理进程通信)低(但需处理锁)高(需理解异步语法)

如何选择?

  • 需要数学计算加速 → 选multiprocessing
  • 简单I/O操作(如文件读写) → 选threading
  • 高性能网络请求(如爬虫) → 选asyncio
  • 混合型任务 → 组合使用(如多进程+协程)

通过这三个案例,可以明显看出:多进程像多个独立工厂,多线程像工厂内多个协作工人,协程则像一个人用超高效的时间管理法。理解这个核心差异后,就能根据实际需求选择合适的工具了。

到此这篇关于Python多进程、多线程、协程典型示例解析的文章就介绍到这了,更多相关Python多进程、多线程、协程典型示例解析内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)!

这篇关于Python多进程、多线程、协程典型示例解析(最新推荐)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1154685

相关文章

Spring Boot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)

《SpringBoot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)》:本文主要介绍SpringBoot拦截器Interceptor与过滤器Filter深度解析... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现与实

Python对PDF书签进行添加,修改提取和删除操作

《Python对PDF书签进行添加,修改提取和删除操作》PDF书签是PDF文件中的导航工具,通常包含一个标题和一个跳转位置,本教程将详细介绍如何使用Python对PDF文件中的书签进行操作... 目录简介使用工具python 向 PDF 添加书签添加书签添加嵌套书签Python 修改 PDF 书签Pytho

Vue中插槽slot的使用示例详解

《Vue中插槽slot的使用示例详解》:本文主要介绍Vue中插槽slot的使用示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、插槽是什么二、插槽分类2.1 匿名插槽2.2 具名插槽2.3 作用域插槽三、插槽的基本使用3.1 匿名插槽

uniapp小程序中实现无缝衔接滚动效果代码示例

《uniapp小程序中实现无缝衔接滚动效果代码示例》:本文主要介绍uniapp小程序中实现无缝衔接滚动效果的相关资料,该方法可以实现滚动内容中字的不同的颜色更改,并且可以根据需要进行艺术化更改和自... 组件滚动通知只能实现简单的滚动效果,不能实现滚动内容中的字进行不同颜色的更改,下面实现一个无缝衔接的滚动

C#通过进程调用外部应用的实现示例

《C#通过进程调用外部应用的实现示例》本文主要介绍了C#通过进程调用外部应用的实现示例,以WINFORM应用程序为例,在C#应用程序中调用PYTHON程序,具有一定的参考价值,感兴趣的可以了解一下... 目录窗口程序类进程信息类 系统设置类 以WINFORM应用程序为例,在C#应用程序中调用python程序

利用Python实现可回滚方案的示例代码

《利用Python实现可回滚方案的示例代码》很多项目翻车不是因为不会做,而是走错了方向却没法回头,技术选型失败的风险我们都清楚,但真正能提前规划“回滚方案”的人不多,本文从实际项目出发,教你如何用Py... 目录描述题解答案(核心思路)题解代码分析第一步:抽象缓存接口第二步:实现两个版本第三步:根据 Fea

Python中CSV文件处理全攻略

《Python中CSV文件处理全攻略》在数据处理和存储领域,CSV格式凭借其简单高效的特性,成为了电子表格和数据库中常用的文件格式,Python的csv模块为操作CSV文件提供了强大的支持,本文将深入... 目录一、CSV 格式简介二、csv模块核心内容(一)模块函数(二)模块类(三)模块常量(四)模块异常

Python报错ModuleNotFoundError的10种解决方案

《Python报错ModuleNotFoundError的10种解决方案》在Python开发中,ModuleNotFoundError是最常见的运行时错误之一,通常由模块路径配置错误、依赖缺失或命名冲... 目录一、常见错误场景与原因分析二、10种解决方案与代码示例1. 检查并安装缺失模块2. 动态添加模块

python利用backoff实现异常自动重试详解

《python利用backoff实现异常自动重试详解》backoff是一个用于实现重试机制的Python库,通过指数退避或其他策略自动重试失败的操作,下面小编就来和大家详细讲讲如何利用backoff实... 目录1. backoff 库简介2. on_exception 装饰器的原理2.1 核心逻辑2.2

MyBatis分页插件PageHelper深度解析与实践指南

《MyBatis分页插件PageHelper深度解析与实践指南》在数据库操作中,分页查询是最常见的需求之一,传统的分页方式通常有两种内存分页和SQL分页,MyBatis作为优秀的ORM框架,本身并未提... 目录1. 为什么需要分页插件?2. PageHelper简介3. PageHelper集成与配置3.