python多进程实现数据共享的示例代码

2025-01-16 04:50

本文主要是介绍python多进程实现数据共享的示例代码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《python多进程实现数据共享的示例代码》本文介绍了Python中多进程实现数据共享的方法,包括使用multiprocessing模块和manager模块这两种方法,具有一定的参考价值,感兴趣的可以...

背景

 安卓ui自动化框架,使用的是多进程实现的多设备并行。而在捞取数据做数据汇总时,需要多进程可以数据共享。

进程、进程创建

程序编写完没有运行称之为程序。正在运行的代码就是进程。在python3语言中,对多进程支持的是multiprocessing模块和subprocess模块。multiprocessing模块为在子进程中运行任务、通讯和共享数据,以及执行各种形式的同步提供支持。

Python提供了非常好用www.chinasem.cn的多进程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据。语法格式如下:

Process([group [, target [, name [, args [, kwargs]]]]])

进程间通信

多线程:共享变量很简单,直接定义全局 global 变量即可

多进程:全局变量在多个进程中不共享,进程之间的数据是独立的,默认情况下互不影响。

from multiprocessing import Process
num=1
def work1():
    global num
    num+=5
    print('子进程1运行,num:',num)

def work2():
    global num
    num += 10
    print('子进程2运行,num:',num)


if __name__=='__main__':
    print('父进程开始运行')
    p1=Process(target=work1)
    p2=Process(target=work2)
    p1.start()
    p2.start()
    p1.join()
    p2.join()

 执行结果

父进程开始运行
子进程1运行,num:6
子进程2运行,num:11

  • 但是python也提供了这样的标准库。process进程的manager模块和pool进程的manager模块。 

 进程间共享数据

  • 共享数值型数据

主进程与子进程共用一个value

import multiprocessing


def func(num):
    num.value = 2  


if __name__ == "__main__":
    num = multiprocessing.Value("d", 1) 
    p = multiprocessing.Process(target=func, args=(num,))
    p.start()
    p.join()
  •  共享数组型数据

子进程改变dict,list,主进程dict,list跟着改变

共享list实践

现在想把每个手机的自动化运行结果的元组拿出来分析,使用共享list的方式

# 多进程中,同一个变量,各自有一份拷贝存在于每个进程中, 互不影响;
    # 多线程中,所有变量都由所有线程共享,任何一个变量都可以被任何一个线程修改.
    # multiprocessing.Manager()实现多进程中的数据共享
    RESULT_TIMEPARAM = multiprocessing.Manager().list()
    RESULT_REPORT_NAME_LIST = multiprocessing.Manager().list()
    RESULT_TUPLE_LIST = multiprocessing.Manager().list()
    devices_pool = []
    for tmp_udid in ConfigData().mobile_data().keys():
        devices_pool.appe编程nd(multiprocessing.Process(target=run_testcase, args=(tmp_udid,RESULT_TIMEPARAM,RESULT_REPORT_NAME_LIST,
                                                                               RESULT_TUPLE_LIST )))

    for devices_udid in devices_pool:
        devices_udid.start()

    for devices_udid in devices_pool:
        devices_udid.join()

得到的RESULT_TUPLE_LIST:

[('2022-10-11 09:59:46', '共 1,通过 1,通过率= 100.00%', 'android', '7.1.2http://www.chinasem.cn', 'samsung', '3.9.3.018'), www.chinasem.cn('2022-10-11 09:59:47', '共 1,通过 1,通过率= 100.00%', 'Android', '10', 'China编程OPPO', '3.9.3.018')]

到此这篇关于python多进程实现数据共享的示例代码的文章就介绍到这了,更多相关python多进程数据共享内容请搜索编程China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持China编程(www.chinasem.cn)!

这篇关于python多进程实现数据共享的示例代码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1153073

相关文章

sky-take-out项目中Redis的使用示例详解

《sky-take-out项目中Redis的使用示例详解》SpringCache是Spring的缓存抽象层,通过注解简化缓存管理,支持Redis等提供者,适用于方法结果缓存、更新和删除操作,但无法实现... 目录Spring Cache主要特性核心注解1.@Cacheable2.@CachePut3.@Ca

QT Creator配置Kit的实现示例

《QTCreator配置Kit的实现示例》本文主要介绍了使用Qt5.12.12与VS2022时,因MSVC编译器版本不匹配及WindowsSDK缺失导致配置错误的问题解决,感兴趣的可以了解一下... 目录0、背景:qt5.12.12+vs2022一、症状:二、原因:(可以跳过,直奔后面的解决方法)三、解决方

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

Python中Json和其他类型相互转换的实现示例

《Python中Json和其他类型相互转换的实现示例》本文介绍了在Python中使用json模块实现json数据与dict、object之间的高效转换,包括loads(),load(),dumps()... 项目中经常会用到json格式转为object对象、dict字典格式等。在此做个记录,方便后续用到该方

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

SpringBoot请求参数传递与接收示例详解

《SpringBoot请求参数传递与接收示例详解》本文给大家介绍SpringBoot请求参数传递与接收示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录I. 基础参数传递i.查询参数(Query Parameters)ii.路径参数(Path Va

JWT + 拦截器实现无状态登录系统

《JWT+拦截器实现无状态登录系统》JWT(JSONWebToken)提供了一种无状态的解决方案:用户登录后,服务器返回一个Token,后续请求携带该Token即可完成身份验证,无需服务器存储会话... 目录✅ 引言 一、JWT 是什么? 二、技术选型 三、项目结构 四、核心代码实现4.1 添加依赖(pom

SpringBoot路径映射配置的实现步骤

《SpringBoot路径映射配置的实现步骤》本文介绍了如何在SpringBoot项目中配置路径映射,使得除static目录外的资源可被访问,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一... 目录SpringBoot路径映射补:springboot 配置虚拟路径映射 @RequestMapp

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

从基础到高级详解Python数值格式化输出的完全指南

《从基础到高级详解Python数值格式化输出的完全指南》在数据分析、金融计算和科学报告领域,数值格式化是提升可读性和专业性的关键技术,本文将深入解析Python中数值格式化输出的相关方法,感兴趣的小伙... 目录引言:数值格式化的核心价值一、基础格式化方法1.1 三种核心格式化方式对比1.2 基础格式化示例