Ubuntu 18.04 LTS安装numba python性能优化的比较:numba,pypy, cython

2024-01-02 14:38

本文主要是介绍Ubuntu 18.04 LTS安装numba python性能优化的比较:numba,pypy, cython,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

 

安装很简单, 我就不多废话了, 直接上指令:

sudo apt-get install llvm
sudo -H pip install numba

python 程序性能优化的套路一般有两种:1)jit, 即just in time compiler, 即时编译器,在运行时将某些函数编译成二进程代码,使用这种方式的有:numba 和pypy;2)将python代码转换成c++/c代码,然后编译执行,这种方式有:cython和nuitka。总而言之,转换成c++/c代码以后编译成二进制文件执行的效率比用numba和pypy即时编译执行的效率要高。

1. 首先看一下python写的求质数的函数 以及 用 numba的jit优化的函数

# main.py# 纯python语言写的求质数的代码
def primes_python(nb_primes):p = []n = 2while len(p) < nb_primes:# Is n prime?for i in p:if n % i == 0:break# If no break occurred in the loopelse:p.append(n)n += 1return p# 使用numba的jit优化的代码,只需要在上面的函数加一行代码
from numba import jit@jit
def primes_jit(nb_primes):p = []n = 2while len(p) < nb_primes:# Is n prime?for i in p:if n % i == 0:break# If no break occurred in the loopelse:p.append(n)n += 1return p


 

2. 新建一个primes.pyx文件,写一个cython函数,其中声明了变量的类型

# primes.pyxdef primes(int nb_primes):cdef int n, i, len_pcdef int p[1000]if nb_primes > 1000:nb_primes = 1000len_p = 0  # The current number of elements in p.n = 2while len_p < nb_primes:# Is n prime?for i in p[:len_p]:if n % i == 0:break# If no break occurred in the loop, we have a prime.else:p[len_p] = nlen_p += 1n += 1# Let's return the result in a python list:result_as_list  = [prime for prime in p[:len_p]]return result_as_list


再建立一个primes_python.pyx文件,新建一个和之前python里面写的一样的函数,作为对比。

# primes_python.pyxdef primes_python(nb_primes):p = []n = 2while len(p) < nb_primes:# Is n prime?for i in p:if n % i == 0:break# If no break occurred in the loopelse:p.append(n)n += 1return p


新建setup.py文件,用来编译.pyx函数

from distutils.core import setup
from Cython.Build import cythonizesetup(ext_modules=cythonize(["primes.pyx", "primes_python.pyx"],annotate=True)
)


 
# 编译命令用这个

# python setup.py build_ext --inplace


使用python setup.py build_ext --inplace编译后可以得到.pyd文件,就是可以导入的python库了。

3. 修改一下main.py, 加入函数调用和度量

# main.py 的完整内容import primes
import primes_python
import timeit
from numba import jitdef primes_python(nb_primes):p = []n = 2while len(p) < nb_primes:# Is n prime?for i in p:if n % i == 0:break# If no break occurred in the loopelse:p.append(n)n += 1return p@jit
def primes_jit(nb_primes):p = []n = 2while len(p) < nb_primes:# Is n prime?for i in p:if n % i == 0:break# If no break occurred in the loopelse:p.append(n)n += 1return pif __name__ == "__main__":repeat_times = 1000t1 = timeit.timeit(stmt="primes_python(1000)",setup="from __main__ import primes_python", number=repeat_times)print(f"run in python: {t1}s")t2 = timeit.timeit(stmt="primes.primes(1000)",setup="import primes", number=repeat_times)print(f"run cython with cdef: {t2}s")t3 = timeit.timeit(stmt="primes_jit(1000)",setup="from __main__ import primes_jit", number=repeat_times)print(f"run in python with numba jit: {t3}s")t4 = timeit.timeit(stmt="primes_python.primes_python(1000)",setup="import primes_python", number=repeat_times)print(f"run cython without cdef: {t4}s")运行一下,得到的结果如下:run in python: 28.519053545829927s
run cython with cdef: 1.6289360376895452s
run in python with numba jit: 2.0565857326599577s
run cython without cdef: 13.221758278866588s


4. 测试一下pypy的结果,建立primes_pypy.py文件:

# primes_pypy.pyimport timeitdef primes_python(nb_primes):p = []n = 2while len(p) < nb_primes:# Is n prime?for i in p:if n % i == 0:break# If no break occurred in the loopelse:p.append(n)n += 1return pif __name__ == "__main__":repeat_times = 1000t1 = timeit.timeit(stmt="primes_python(1000)",setup="from __main__ import primes_python", number=repeat_times)print(f"run in pypy: {t1}s")


使用pypy3 primes_pypy.py 运行文件, 得到结果如下:

run in pypy: 3.0445395345987682s
5.  nuitka的暂时没弄出来, 总体的运行结果如下:

run in python: 28.519053545829927s
run cython with cdef: 1.6289360376895452s
run in python with numba jit: 2.0565857326599577s
run cython without cdef: 13.221758278866588srun in pypy: 3.0445395345987682s


基本上jit的效果很明显,也不用改动python代码。

原文链接:https://blog.csdn.net/xiaozisheng2008_/article/details/85266511

这篇关于Ubuntu 18.04 LTS安装numba python性能优化的比较:numba,pypy, cython的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/562745

相关文章

Python版本信息获取方法详解与实战

《Python版本信息获取方法详解与实战》在Python开发中,获取Python版本号是调试、兼容性检查和版本控制的重要基础操作,本文详细介绍了如何使用sys和platform模块获取Python的主... 目录1. python版本号获取基础2. 使用sys模块获取版本信息2.1 sys模块概述2.1.1

一文详解Python如何开发游戏

《一文详解Python如何开发游戏》Python是一种非常流行的编程语言,也可以用来开发游戏模组,:本文主要介绍Python如何开发游戏的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录一、python简介二、Python 开发 2D 游戏的优劣势优势缺点三、Python 开发 3D

Python函数作用域与闭包举例深度解析

《Python函数作用域与闭包举例深度解析》Python函数的作用域规则和闭包是编程中的关键概念,它们决定了变量的访问和生命周期,:本文主要介绍Python函数作用域与闭包的相关资料,文中通过代码... 目录1. 基础作用域访问示例1:访问全局变量示例2:访问外层函数变量2. 闭包基础示例3:简单闭包示例4

Python实现字典转字符串的五种方法

《Python实现字典转字符串的五种方法》本文介绍了在Python中如何将字典数据结构转换为字符串格式的多种方法,首先可以通过内置的str()函数进行简单转换;其次利用ison.dumps()函数能够... 目录1、使用json模块的dumps方法:2、使用str方法:3、使用循环和字符串拼接:4、使用字符

Python版本与package版本兼容性检查方法总结

《Python版本与package版本兼容性检查方法总结》:本文主要介绍Python版本与package版本兼容性检查方法的相关资料,文中提供四种检查方法,分别是pip查询、conda管理、PyP... 目录引言为什么会出现兼容性问题方法一:用 pip 官方命令查询可用版本方法二:conda 管理包环境方法

基于Python开发Windows自动更新控制工具

《基于Python开发Windows自动更新控制工具》在当今数字化时代,操作系统更新已成为计算机维护的重要组成部分,本文介绍一款基于Python和PyQt5的Windows自动更新控制工具,有需要的可... 目录设计原理与技术实现系统架构概述数学建模工具界面完整代码实现技术深度分析多层级控制理论服务层控制注

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

在Ubuntu上打不开GitHub的完整解决方法

《在Ubuntu上打不开GitHub的完整解决方法》当你满心欢喜打开Ubuntu准备推送代码时,突然发现终端里的gitpush卡成狗,浏览器里的GitHub页面直接变成Whoathere!警告页面... 目录一、那些年我们遇到的"红色惊叹号"二、三大症状快速诊断症状1:浏览器直接无法访问症状2:终端操作异常

Python打包成exe常用的四种方法小结

《Python打包成exe常用的四种方法小结》本文主要介绍了Python打包成exe常用的四种方法,包括PyInstaller、cx_Freeze、Py2exe、Nuitka,文中通过示例代码介绍的非... 目录一.PyInstaller11.安装:2. PyInstaller常用参数下面是pyinstal

Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

《Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题》在爬虫工程里,“HTTPS”是绕不开的话题,HTTPS为传输加密提供保护,同时也给爬虫带来证书校验、... 目录一、核心问题与优先级检查(先问三件事)二、基础示例:requests 与证书处理三、高并发选型: