pybind11以及打包学习

2024-06-04 17:38
文章标签 学习 打包 pybind11

本文主要是介绍pybind11以及打包学习,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

pybind11以及打包学习

前言

最近在看fasttext,看到使用pybind11把c++代码封装了一下,然后打包后安装,python可以直接调用,非常方便,有点兴趣,手动试了简单例子,本篇没啥干货,简单记录下实现过程。

一 pybind11

c/c++代码都是用pybind11封装,可以直接用pip安装即可,官方给出的入门示例十分简单:

#include <pybind11/pybind11.h>int add(int i, int j) {return i + j;
}
PYBIND11_MODULE(example, m) {m.doc() = "pybind11 example plugin"; // optional module docstringm.def("add", &add, "A function which adds two numbers");
}

其中,add函数为c函数,也是需要导出的函数功能。PYBIND11_MODULE功能就是负责导出模块,第一个为宏参数(不需要双引号,setup.py中有参数对应),第二个参数就代表模块对象(py::module)。m.def负责定义需要导出的函数。官网强调,pybind是头文件依赖,即只需要指定头文件即可,不需要其它类库。

这样看,功能封装确实挺简单,下载官网上提供的python_example示例,直接进入根目录,用pip install . ,编译安装都搞定,然后运行示例中的测视例test.py, 感受一下使用的情况:

import python_example as massert m.__version__ == '0.0.1'
assert m.add(1, 2) == 3
assert m.subtract(1, 2) == -1

这里说下示例,编译的时候有一行会报语法错误:

m.attr("__version__") = VERSION_INFO;

这里应该是编译器认为用double类型给字符串赋值了,所以总是报错,搜了一下转字符串的宏:

#define STR1(R)  #R
#define STR2(R) STR1(R)

然后调用STR2转换一下就行了。

二 打包

打包主要借助setuptools提供的接口,需要的操作都在setup.py中定义,然后用pip安装。还是拿python_example当例子:

ext_modules = [Extension('python_example',# Sort input source files to ensure bit-for-bit reproducible buildssorted(['src/main.cpp']),include_dirs=[# Path to pybind11 headersget_pybind_include(),],language='c++'),
]

这个就是定义需要导出模块的一些信息,包括模块宏名,前面提到的PYBIND11_MODULE的第一个参数就是对应的Extension的第一个参数的名字,如果两者不一致,会导致编译错误;第二个参数定义了需要编译的源文件; include_dirs是依赖的头文件;language指定源语言。

class BuildExt(build_ext):"""A custom build extension for adding compiler-specific options."""def build_extensions(self):for ext in self.extensions:ext.define_macros = [('VERSION_INFO', '{}"'.format(self.distribution.get_version()))]ext.extra_compile_args = optsext.extra_link_args = link_optsbuild_ext.build_extensions(self)

这个就是自定义模块编译地方,对于每个自定义的模块(即前面的ext_modules),在build_extensions函数中,可以对每个模块指定一些宏定义(define_macros)、编译参数(extra_compile_args)以及链接参数(extra_link_args)等, 用于模块编译的需要。

而最后一部分setup对象:

setup(name='python_example',version=__version__,author='Sylvain Corlay',author_email='sylvain.corlay@gmail.com',url='https://github.com/pybind/python_example',description='A test project using pybind11',long_description='',ext_modules=ext_modules,setup_requires=['pybind11>=2.5.0'],cmdclass={'build_ext': BuildExt},zip_safe=False,
)

定义了模块的一些信息,如模块名(import时使用),作者,版本号之类的,其中需要关注的是cmdclass参数,这里指定了模块编译需要使用的类。整个setup.py核心内容就这些,是不是感觉也不复杂?

对了,有的同学可能会问,c/c++编译器好像没指定哦?是的,这个交给setuptools去干了,官网介绍是setuptools会找到当初安装python的那套环境去编译这些模块,也就是既然python都装上了,默认你的机器上编译环境应该是可以编译这些自定义模块的。

总结

总体来说,使用起来感觉挺方便的。但是对我来讲,最起码暴露了一个问题,c/c++好久没用了,上面那个示例编译错误,搞挺久才搞定,技艺生疏了。另外,更底层的流程,还是一窍不通,比如,python函数调用是怎么调用到c/c++库中去的,模块到底是怎么定义的(我没找到编译出来的库文件),有时间再继续扒吧。

附录

pybind11源码

pybind11官方文档

python_example源码

这篇关于pybind11以及打包学习的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1030673

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Python程序打包exe,单文件和多文件方式

《Python程序打包exe,单文件和多文件方式》:本文主要介绍Python程序打包exe,单文件和多文件方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录python 脚本打成exe文件安装Pyinstaller准备一个ico图标打包方式一(适用于文件较少的程

Maven项目打包时添加本地Jar包的操作步骤

《Maven项目打包时添加本地Jar包的操作步骤》在Maven项目开发中,我们经常会遇到需要引入本地Jar包的场景,比如使用未发布到中央仓库的第三方库或者处理版本冲突的依赖项,本文将详细介绍如何通过M... 目录一、适用场景说明​二、核心操作命令​1. 命令格式解析​2. 实战案例演示​三、项目配置步骤​1

Spring Boot项目打包和运行的操作方法

《SpringBoot项目打包和运行的操作方法》SpringBoot应用内嵌了Web服务器,所以基于SpringBoot开发的web应用也可以独立运行,无须部署到其他Web服务器中,下面以打包dem... 目录一、打包为JAR包并运行1.打包为可执行的 JAR 包2.运行 JAR 包二、打包为WAR包并运行

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Python将字库文件打包成可执行文件的常见方法

《Python将字库文件打包成可执行文件的常见方法》在Python打包时,如果你想将字库文件一起打包成一个可执行文件,有几种常见的方法,具体取决于你使用的打包工具,下面就跟随小编一起了解下具体的实现方... 目录使用 PyInstaller基本方法 - 使用 --add-data 参数使用 spec 文件(

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

将Java程序打包成EXE文件的实现方式

《将Java程序打包成EXE文件的实现方式》:本文主要介绍将Java程序打包成EXE文件的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录如何将Java程序编程打包成EXE文件1.准备Java程序2.生成JAR包3.选择并安装打包工具4.配置Launch4

PyInstaller打包selenium-wire过程中常见问题和解决指南

《PyInstaller打包selenium-wire过程中常见问题和解决指南》常用的打包工具PyInstaller能将Python项目打包成单个可执行文件,但也会因为兼容性问题和路径管理而出现各种运... 目录前言1. 背景2. 可能遇到的问题概述3. PyInstaller 打包步骤及参数配置4. 依赖