Pybind11 在C++中运行python脚本操作内存数据

2024-02-26 01:36

本文主要是介绍Pybind11 在C++中运行python脚本操作内存数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

pybind11资料

官方Github:Pybind11 Github
Pybind11文档:Pybind11 文档
文档在深入使用后需要细细读懂,包括全局只能有一个解释器,如何从C++中返回指针/引用等。基本文档中需要注意的点都会遇到

Python环境安装及维护

对于正常使用人员,只要在自己机子上装好大于Python3.6的环境即可,这里我使用的是Python3.8.5:Python3.8.5 下载页

对于开发人员来说,最好是搭好一次,就随意移植。你拿到另外一个机器直接Copy还要能用。而显然原生Python是对这些不支持的,可以看博主另外一篇文章:Python环境移植

示例

下面是一个简单的示例,

// pybind11 头文件和命名空间
#include <pybind11/pybind11.h>
namespace py = pybind11;int add(int i, int j)
{return i + j;
}PYBIND11_MODULE(example, m)
{// 可选,说明这个模块是做什么的m.doc() = "pybind11 example plugin";//def( "给python调用方法名", &实际操作的函数, "函数功能说明" ). 其中函数功能说明为可选1,2为默认参数m.def("add", &add, "add function", pybind11::arg("i")=1, pybind11::arg("j")=2);
}

假如你的这个dll叫test.dll,你需要在cmake中添加改名,把他改成pyd,后缀是pyd不影响程序运行的,程序运行时还是可以正常索引,不要再生成个dll放到目录下避免内存不是同一块引起bug

#这条命令告诉cmake,我们想把生成的后缀改成pyd
set_target_properties(${PROJECT_NAME} PROPERTIES SUFFIX ".pyd")

外部如何使用呢?下面是一个python脚本,假设叫myTest.py,#执行这个脚本,result就是12

import test from *
result = add(10,2)

在C++中嵌入Python解释器

我们的程序如果要能执行外部的python脚本,我们需要
1.像示例那边。准备好我们需要导出的结构体或变量,生成pyd给外部python脚本使用
2.在程序里嵌入Python解释器
3.提供接口或界面,然后调用这个解释器执行脚本

可以直接执行导入pyd

#include <pybind11/embed.h>
#include <iostream>
namespace py = pybind11;
int main() {// 初始化Python解释器py::scoped_interpreter guard{};// 加载Python脚本py::module script = py::module::import("script");// 调用Python函数int result = script.attr("add")(1, 2).cast<int>();std::cout << "Result: " << result << std::endl;return 0;
}

或者直接执行自己写好的python文件,还可以在程序开始前设置启动参数等

 		//将环境变量添加到Python的模块搜索路径中pybind11::object sys_module = pybind11::module::import("sys");pybind11::list sys_path = sys_module.attr("path");sys_path.attr("append")(scriptDir);//清空argv,设置参数pybind11::list empty_list;sys_module.attr("argv") = empty_list;pybind11::list argv = sys_module.attr("argv");for (std::string oneArgv : rundata.allArgv){argv.append(oneArgv.toStdString());}//执行文件pybind11::eval_file(rundata.filePath.toStdString().c_str());//移除,否则影响下次执行sys_module.attr("argv") = empty_list;sys_path.attr("remove")(scriptDir);

一些BUG和注意的点

1.再次说明,Pybind11文档一定要细读
2.比如这个问题,并不一定所有模块都能被卸载,目前博主就遇到了cv2模块,安装完卸载了成功了。但是重新载入就会引发程序崩溃。目前做法是全局一个解释器,跟随程序周期走,只有其他小伙伴有内存占用特高的自写模块时才调用卸载接口,这样就能保证稳定运行
在这里插入图片描述

3.这个问题是一个多线程问题
3-1:python由于其实本身并发并不是并发,是靠锁来互斥的。
3-2:如果我们程序执行一个外部脚本出错或者崩溃了,我们解释器里try-catch会获取error的信息,问题就出在这里。
3-3:我们的解释器初始化肯定是在主线程的,但是我们为了不阻塞界面或其他任务,执行脚本时一般都是选择一个工作线程执行
3-4:这时候,工作线程执行就会出现在子线程里获锁,会出现死锁现象导致程序崩溃
3-5:如何解决?由于这个是python导致的,我们只需要将pybind11里几处错误获取锁的地方注释掉即可,我们只要外部程序保证好我们获取错误的顺序,不靠他这个锁保证互斥就没有任何问题了

这篇关于Pybind11 在C++中运行python脚本操作内存数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/747317

相关文章

shell脚本批量导出redis key-value方式

《shell脚本批量导出rediskey-value方式》为避免keys全量扫描导致Redis卡顿,可先通过dump.rdb备份文件在本地恢复,再使用scan命令渐进导出key-value,通过CN... 目录1 背景2 详细步骤2.1 本地docker启动Redis2.2 shell批量导出脚本3 附录总

Django开发时如何避免频繁发送短信验证码(python图文代码)

《Django开发时如何避免频繁发送短信验证码(python图文代码)》Django开发时,为防止频繁发送验证码,后端需用Redis限制请求频率,结合管道技术提升效率,通过生产者消费者模式解耦业务逻辑... 目录避免频繁发送 验证码1. www.chinasem.cn避免频繁发送 验证码逻辑分析2. 避免频繁

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略,其核心思想是在价格上下预设多个“网格”,当价格触发特定网格时执行买