Python提升回测速度concurrnet.futures模块详解

本文主要是介绍Python提升回测速度concurrnet.futures模块详解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

默认情况，Python因为GIL的存在，只会调用一个CUP作为单个进程执行程序。即便是采用多线程，也是使用同一个CPU。但是目前电脑大多都有多核。

Python3.2之后提供了一个新的模块concurrent.futures模块可以实现多进程多线程。

concurrent.futures是对multiprocessing和threding这两个模块进一步封装的结果。

Future模式

生产-消费者模型中，生产者负责向队列种传入数据，消费者负责从队列种获取数据并处理。生产者不关心消费者什么时候处理完数据，也不关心消费者处理的结果。

Future模式是生产-消费者的一种扩展，可以让生产者等待消息处理完成，甚至获取相关结算结果。

concurrnet.futures官方文档

模块提供了两种Executor，一种是ProcessPoolExecutor（多进程，计算密集型任务），一种是ThreadPoolExecutor（多线程，适用IO密集型任务）。

concurrnet.futures模块的构成部分如下：

concurrnet.futures.Executor 一个虚拟基类，上述两种子类。
1. concurrent.futures.ThreadPoolExecutor(max_workers) max_workers = 5表示最多由5个worker并行执行任务
2. concurrent.futures.ProcessPoolExecutor(max_workers)
submit(function, argument) 调度函数（可调用的对象）的执行，将argument作为function的参数传入。
map(function, argument) 执行函数，argument作为参数，以异步的方式
shutdown(Wait= True) 发出让执行者释放所有资源的信号
concurrnet.futures.Future Future对象是submit任务（即带有参数的functions）到executor的实例。

多线程举例

# ===任务
def each_task(n):x = n * n * nreturn xexecutor = ProcessPoolExecutor(3)   # 实例化进程池
start_time = time.time()
df = []
for i in [10, 100, 1000]:df.append(executor.submit(each_task, i))   # 提交任务
wait(df)   # 等待计算结束
end_time = time.time()
print(end_time - start_time)
executor.shutdown()   # 销毁进程池
exit()