Pybind11 在C++中运行python脚本操作内存数据

2024-02-26 01:36

本文主要是介绍Pybind11 在C++中运行python脚本操作内存数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

pybind11资料

官方Github:Pybind11 Github
Pybind11文档:Pybind11 文档
文档在深入使用后需要细细读懂,包括全局只能有一个解释器,如何从C++中返回指针/引用等。基本文档中需要注意的点都会遇到

Python环境安装及维护

对于正常使用人员,只要在自己机子上装好大于Python3.6的环境即可,这里我使用的是Python3.8.5:Python3.8.5 下载页

对于开发人员来说,最好是搭好一次,就随意移植。你拿到另外一个机器直接Copy还要能用。而显然原生Python是对这些不支持的,可以看博主另外一篇文章:Python环境移植

示例

下面是一个简单的示例,

// pybind11 头文件和命名空间
#include <pybind11/pybind11.h>
namespace py = pybind11;int add(int i, int j)
{return i + j;
}PYBIND11_MODULE(example, m)
{// 可选,说明这个模块是做什么的m.doc() = "pybind11 example plugin";//def( "给python调用方法名", &实际操作的函数, "函数功能说明" ). 其中函数功能说明为可选1,2为默认参数m.def("add", &add, "add function", pybind11::arg("i")=1, pybind11::arg("j")=2);
}

假如你的这个dll叫test.dll,你需要在cmake中添加改名,把他改成pyd,后缀是pyd不影响程序运行的,程序运行时还是可以正常索引,不要再生成个dll放到目录下避免内存不是同一块引起bug

#这条命令告诉cmake,我们想把生成的后缀改成pyd
set_target_properties(${PROJECT_NAME} PROPERTIES SUFFIX ".pyd")

外部如何使用呢?下面是一个python脚本,假设叫myTest.py,#执行这个脚本,result就是12

import test from *
result = add(10,2)

在C++中嵌入Python解释器

我们的程序如果要能执行外部的python脚本,我们需要
1.像示例那边。准备好我们需要导出的结构体或变量,生成pyd给外部python脚本使用
2.在程序里嵌入Python解释器
3.提供接口或界面,然后调用这个解释器执行脚本

可以直接执行导入pyd

#include <pybind11/embed.h>
#include <iostream>
namespace py = pybind11;
int main() {// 初始化Python解释器py::scoped_interpreter guard{};// 加载Python脚本py::module script = py::module::import("script");// 调用Python函数int result = script.attr("add")(1, 2).cast<int>();std::cout << "Result: " << result << std::endl;return 0;
}

或者直接执行自己写好的python文件,还可以在程序开始前设置启动参数等

 		//将环境变量添加到Python的模块搜索路径中pybind11::object sys_module = pybind11::module::import("sys");pybind11::list sys_path = sys_module.attr("path");sys_path.attr("append")(scriptDir);//清空argv,设置参数pybind11::list empty_list;sys_module.attr("argv") = empty_list;pybind11::list argv = sys_module.attr("argv");for (std::string oneArgv : rundata.allArgv){argv.append(oneArgv.toStdString());}//执行文件pybind11::eval_file(rundata.filePath.toStdString().c_str());//移除,否则影响下次执行sys_module.attr("argv") = empty_list;sys_path.attr("remove")(scriptDir);

一些BUG和注意的点

1.再次说明,Pybind11文档一定要细读
2.比如这个问题,并不一定所有模块都能被卸载,目前博主就遇到了cv2模块,安装完卸载了成功了。但是重新载入就会引发程序崩溃。目前做法是全局一个解释器,跟随程序周期走,只有其他小伙伴有内存占用特高的自写模块时才调用卸载接口,这样就能保证稳定运行
在这里插入图片描述

3.这个问题是一个多线程问题
3-1:python由于其实本身并发并不是并发,是靠锁来互斥的。
3-2:如果我们程序执行一个外部脚本出错或者崩溃了,我们解释器里try-catch会获取error的信息,问题就出在这里。
3-3:我们的解释器初始化肯定是在主线程的,但是我们为了不阻塞界面或其他任务,执行脚本时一般都是选择一个工作线程执行
3-4:这时候,工作线程执行就会出现在子线程里获锁,会出现死锁现象导致程序崩溃
3-5:如何解决?由于这个是python导致的,我们只需要将pybind11里几处错误获取锁的地方注释掉即可,我们只要外部程序保证好我们获取错误的顺序,不靠他这个锁保证互斥就没有任何问题了

这篇关于Pybind11 在C++中运行python脚本操作内存数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/747317

相关文章

基于Linux的ffmpeg python的关键帧抽取

《基于Linux的ffmpegpython的关键帧抽取》本文主要介绍了基于Linux的ffmpegpython的关键帧抽取,实现以按帧或时间间隔抽取关键帧,文中通过示例代码介绍的非常详细,对大家的学... 目录1.FFmpeg的环境配置1) 创建一个虚拟环境envjavascript2) ffmpeg-py

python使用库爬取m3u8文件的示例

《python使用库爬取m3u8文件的示例》本文主要介绍了python使用库爬取m3u8文件的示例,可以使用requests、m3u8、ffmpeg等库,实现获取、解析、下载视频片段并合并等步骤,具有... 目录一、准备工作二、获取m3u8文件内容三、解析m3u8文件四、下载视频片段五、合并视频片段六、错误

Python中提取文件名扩展名的多种方法实现

《Python中提取文件名扩展名的多种方法实现》在Python编程中,经常会遇到需要从文件名中提取扩展名的场景,Python提供了多种方法来实现这一功能,不同方法适用于不同的场景和需求,包括os.pa... 目录技术背景实现步骤方法一:使用os.path.splitext方法二:使用pathlib模块方法三

Python打印对象所有属性和值的方法小结

《Python打印对象所有属性和值的方法小结》在Python开发过程中,调试代码时经常需要查看对象的当前状态,也就是对象的所有属性和对应的值,然而,Python并没有像PHP的print_r那样直接提... 目录python中打印对象所有属性和值的方法实现步骤1. 使用vars()和pprint()2. 使

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

Windows下C++使用SQLitede的操作过程

《Windows下C++使用SQLitede的操作过程》本文介绍了Windows下C++使用SQLite的安装配置、CppSQLite库封装优势、核心功能(如数据库连接、事务管理)、跨平台支持及性能优... 目录Windows下C++使用SQLite1、安装2、代码示例CppSQLite:C++轻松操作SQ

一文深入详解Python的secrets模块

《一文深入详解Python的secrets模块》在构建涉及用户身份认证、权限管理、加密通信等系统时,开发者最不能忽视的一个问题就是“安全性”,Python在3.6版本中引入了专门面向安全用途的secr... 目录引言一、背景与动机:为什么需要 secrets 模块?二、secrets 模块的核心功能1. 基

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面:本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

C++中RAII资源获取即初始化

《C++中RAII资源获取即初始化》RAII通过构造/析构自动管理资源生命周期,确保安全释放,本文就来介绍一下C++中的RAII技术及其应用,具有一定的参考价值,感兴趣的可以了解一下... 目录一、核心原理与机制二、标准库中的RAII实现三、自定义RAII类设计原则四、常见应用场景1. 内存管理2. 文件操