【进阶篇】Python+Go——带大家一起另寻途径提高计算性能

2024-01-23 18:50

本文主要是介绍【进阶篇】Python+Go——带大家一起另寻途径提高计算性能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

一腔热血勤珍重,洒去犹能化碧涛。

/1 前言/

    在上一篇文章中,【基础篇】Python+Go——带大家一起另寻途径提高计算性能,我们成功的通过Python调用Go代码,并且把计算密集的交给了Go来进行计算,虽然计算的很快,但是在获取返回值时,似乎有点让人诧异,并不是我们想象的那样子。

/2 造成返回值错误的原因是什么?/

        在上一篇文章中,我们似乎都忘了一张图。

    .go文件是Go的,不多说,.so是Python调用Go的文件,那.h文件是什么???似乎很没有存在感,我们的问题出,也就出在这个.h文件中,我们打开看一下

    我们往下翻翻,会找到extern开头的声明,这个意思是将Go代码转为C代码一一对应的参数,可见,转为C的是GoInt类型,这个类型具体什么意思呢???再找找看。

    在上面其实大概可以发现,GoInt其实就是GoInt64,GoInt64的类型是long long类型,这是玩意???

    其实我们在Python中调用.so文件使用的是ctypes模块,这个是有一个对应表的。

/3 Python,ctypes , c 类型对应表/

官网地址:

https://docs.python.org/3.5/library/ctypes.html
ctypes typeC typePython type
c_bool_Boolbool (1)
c_charchar1-character  bytes object
c_wcharwchar_t1-character  string
c_bytecharint
c_ubyteunsigned charint
c_shortshortint
c_ushortunsigned shortint
c_intintint
c_uintunsigned intint
c_longlongint
c_ulongunsigned longint
c_longlong__int64 or long longint
c_ulonglongunsigned  __int64 or unsigned long longint
c_size_tsize_tint
c_ssize_tssize_t or Py_ssize_tint
c_floatfloatfloat
c_doubledoublefloat
c_longdoublelong doublefloat
c_char_pchar * (NUL  terminated)bytes object  or None
c_wchar_pwchar_t * (NUL  terminated)string or None
c_void_pvoid *int or None

    根据上述表格我们可以发现,在C中的long long类型对应的ctype类型是c_longlong。

    所以我们需要在Python将.so中的返回值改一下,不能使用系统默认的了。代码如下:

from ctypes import *
import timeclass StructPointer(Structure):# 根据查表,C中的long long,对应的ctypes 是 c_longlong# _fields_必须是[](列表)类型,里面写对应的类型,固定格式_fields_ = [("p", c_longlong,),]if __name__ == '__main__':beginTime = time.time()s = CDLL("s1.so")  # 加载s1.so文件s.run.restype = StructPointer # 声明.so的run函数返回值类型,固定格式result = s.run(100000000)  # 调用Go生成的.so文件里面的run函数print("result:", result.p)# 此处需要调用.p来获取值,和 _fields_对应endTime = time.time()print("耗时:", endTime - beginTime)

    再次执行:

    

    可以看到,这次Python执行的结果和Go执行结果就一个样了。继续,换个数字试试看。

    基本可以确定,这次是没问题了。

/4 如果返回的是字符串呢?/

Go代码

package mainimport ("C" //C必须导入"fmt"
)//export run
func run(n int) int{/*必须要export 函数名//是注释的意思,相当于Python中的 #我也是第一次见注释还有作用*/sum := 0for i := 0; i < n; i++ {sum += i}fmt.Println("我是Go代码,我跑完了,我的结果是:",sum)return sum
}//export speak
func speak(n int) string{return "OMG 996好累呀,难得休息一天,好好休息"
}
func main() {//main函数中什么都不要写,和包名main要对应
}

    下面一起来理解.h文件。编译之后打开.h文件如下图所示:

    可以看到,在extern的函数成了两个,但是他的返回值是GoString,继续找。

    可以发现,其实GoString就是_GoString_,继续找。

    

    这次是一个结构体,里面其实是两个值,不在是单独的long long了,那Python中的继承类也要改一下了。

下面基本同上。

完整代码如下:

from ctypes import *
import timeclass StructPointer(Structure):# 根据查表,C中的long long,对应的ctypes 是 c_longlong# _fields_必须是[](列表)类型,里面写对应的类型,固定格式_fields_ = [("p", c_longlong,),]class StrPointer(Structure):# typedef struct { const char *p; ptrdiff_t n; } _GoString_;# ptrdiff_t == long long_fields_ = [("p", c_char_p), ("n", c_longlong)]if __name__ == '__main__':beginTime = time.time()s = CDLL("s1.so")  # 加载s1.so文件s.run.restype = StructPointer # 声明.so的run函数返回值类型,固定格式result = s.run(100000798)  # 调用Go生成的.so文件里面的run函数print("result:", result.p)# 此处需要调用.p来获取值,和 _fields_对应s.speak.restype = StrPointerspeakStr = s.speak()# 返回的是字节类型,需要转字符串,返回的内容在.p中,.n是切的长度,后面会跟一些介绍,不需要speakStr = str(speakStr.p[:speakStr.n], encoding="utf-8")print("speak:",speakStr)endTime = time.time()print("耗时:", endTime - beginTime)

结果:

    可以看到,调用Go代码成功的拿到了正确的字符串返回值,如果没有 .restype = StrPointer拿到的会是什么呢?拿到会和原来的一样,一堆数字,这里就不举栗子了。

/5 小结/

    至此,基本上在Python调用Go代码上的大坑都解决了,最复杂的是返回字符串类型,查了很多相关资料才解决。

    关于返回其他类型的Python的class怎么写,我相信已经难为不到你们了,最复杂的都解决了,最简单的还不会吗?(除字符串类型以外其他_fields_都是一个字段的)

    我相信各位小伙伴学习能力还是很强的,人生苦短,Python当歌,加油,奥利给!

/6 小彩蛋/

    后台有不少小伙伴留言对Go语言感兴趣,其实我也接触Go语言不太久,这里小编开了一个新公众号【Go语言进阶学习】,主要分享Go语言相关的技术文章,感兴趣的小伙伴可以关注下,咱们一起学习。

    感谢你们的支持和鼓励,期待我们越来越好,周末愉快~

------------------- End -------------------

往期精彩文章推荐:

  • 手把手用Python教你如何发现隐藏wifi

  • 手把手教你用Python做个可视化的“剪刀石头布”小游戏

  • 一篇文章教会你用Python爬取淘宝评论数据(写在记事本)

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

这篇关于【进阶篇】Python+Go——带大家一起另寻途径提高计算性能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/637199

相关文章

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

go中的时间处理过程

《go中的时间处理过程》:本文主要介绍go中的时间处理过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 获取当前时间2 获取当前时间戳3 获取当前时间的字符串格式4 相互转化4.1 时间戳转时间字符串 (int64 > string)4.2 时间字符串转时间

Go语言中make和new的区别及说明

《Go语言中make和new的区别及说明》:本文主要介绍Go语言中make和new的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 概述2 new 函数2.1 功能2.2 语法2.3 初始化案例3 make 函数3.1 功能3.2 语法3.3 初始化

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os