瑞芯微RK3588 C++部署Yolov8检测和分割模型

2024-03-05 15:12
文章标签 c++ 部署 模型 分割 检测 yolov8 rk3588 瑞芯微

本文主要是介绍瑞芯微RK3588 C++部署Yolov8检测和分割模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

最近这一个月在研究国产瑞芯微板子上部署yolov8的检测和分割模型，踩了很多坑，记录一下部署的过程和遇到的一些问题：

1 环境搭建

需要的环境和代码主要包括：
（1）rknn-toolkit2-1.5.2：工具链，开发环境
（2）rockchip-yolov8：pt模型转onnx模型
（3）yolov8_onnx2rknn：在（2）的基础上转检测rknn模型
（4）yolov8seg_onnx2rknn：在（2）的基础上转分割rknn模型
在这里插入图片描述
最好使用对应的环境，环境不匹配的话会出现很多问题。

2 ubuntu docker环境

Docker容器主要用来进行模型转换，也就是pt转onnx的过程，因此docker中需要用的的包主要是rockchip-yolov8,需要修改该代码，进行模型的转换，在linux服务器上安装docker环境，创建一个ubuntu系统的docker环境
这一部分的修改代码参考山水无移大哥的部署过程，贼清洗，膜拜一下，少走了很多弯路，直接贴上地址。

3 模型转换问题

在转自己的pt到onnx模型时，容易出现以下问题：
（1）报错信息：

copying a param with shape torch.Size([64,64,3,3]) from checkpoint,the shape in current model is torch.Size(32,64,3,3)

在这里插入图片描述
主要的问题有两种：
1）在最后一步导出onnx时，yolov8s.yaml里面没有修改成自己的模型的类别信息；
2）自己训练的yolov8m模型，但是选择的yaml是yolov8s.yaml


from ultralytics import YOLO# model = YOLO('/cytech_ai/sipingtest/rknntest/model/20230228_yolov8_LiftPerson_filter.pt')
# results = model(task='detect', mode='predict', source='/cytech_ai/sipingtest/rknntest/2.jpg', line_thickness=3, save=True, device='cpu')model = YOLO('/cytech_ai/sipingtest/rknntest/rockchip-yolov8/ultralytics/cfg/models/v8/yolov8s.yaml')
results = model(task='detect', mode='predict', source='/cytech_ai/sipingtest/rknntest/2.jpg', line_thickness=3, save=True, device='cpu')

（2）多处修改时，最终的输出结果和分割模型的结果搞混了，导致模型输出对应不上：
在这里插入图片描述
在这里插入图片描述

4 RK3588上环境搭建

瑞芯微rk3588上，需要的环境主要是rknpu2，主要用来C++编写cmakelists文件时导入动态库和头文件，我这里将检测模型和分割模型全部集成到一个工程里面，分享一个个人的cmakelist文件：

cmake_minimum_required(VERSION 3.4.1)# 声明一个 cmake 工程
set(PROJECT_NAME rknn_yolov8_AlgDetectModel)
project(${PROJECT_NAME})set(CMAKE_CXX_STANDARD 11)set(TARGET_SOC "rk3588")
set(CMAKE_C_COMPILER "aarch64")# rknn api
if(TARGET_SOC STREQUAL "rk356x")set(RKNN_API_PATH ${CMAKE_SOURCE_DIR}/../../runtime/RK356X/${CMAKE_SYSTEM_NAME}/librknn_api)set(RKNN_API_PATH ${CMAKE_SOURCE_DIR}/../../runtime/RK356X/${CMAKE_SYSTEM_NAME}/librknn_api)
elseif(TARGET_SOC STREQUAL "rk3588")set(RKNN_API_PATH /home/siping/testrknn/rknpu2-1.5.2/runtime/RK3588/Linux/librknn_api/aarch64)
else()message(FATAL_ERROR "TARGET_SOC is not set, ref value: rk356x or rk3588 or rv110x")
endif()if (CMAKE_SYSTEM_NAME STREQUAL "Android")set(RKNN_RT_LIB ${RKNN_API_PATH}/${CMAKE_ANDROID_ARCH_ABI}/librknnrt.so)
else()if (CMAKE_C_COMPILER MATCHES "aarch64")set(LIB_ARCH aarch64)else()set(LIB_ARCH armhf)endif()#直接链接这个库了set(RKNN_RT_LIB /home/siping/testrknn/rknpu2-1.5.2/runtime/RK3588/Linux/librknn_api/aarch64/librknnrt.so)
endif()#链接头文件
include_directories(/home/siping/testrknn/rknpu2-1.5.2/runtime/RK3588/Linux/librknn_api/include)#第三方依赖库
include_directories(${CMAKE_SOURCE_DIR}/../3rdparty)# opencv
#if (CMAKE_SYSTEM_NAME STREQUAL "Android")
#    set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/../3rdparty/opencv/OpenCV-android-sdk/sdk/native/jni/abi-${CMAKE_ANDROID_ARCH_ABI})
#else()
#  if(LIB_ARCH STREQUAL "armhf")
#    set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/../3rdparty/opencv/opencv-linux-armhf/share/OpenCV)
#  else()
#    set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/../3rdparty/opencv/opencv-linux-aarch64/share/OpenCV)
#  endif()
#endif()
#find_package(OpenCV REQUIRED)#手动链接opencv480
set(OpenCV_DIR "/home/siping/thirdparty/opencv480/")
set(OpenCV_INCLUDE_DIRS "/home/siping/thirdparty/opencv480/include/opencv4")
set(OpenCV_LDFLAGS "/home/siping/thirdparty/opencv480/lib")include_directories(${OpenCV_INCLUDE_DIRS})
link_directories(${OpenCV_LDFLAGS})message(STATUS "OpenCV library status:")message(STATUS "    version: ${OpenCV_VERSION}")
message(STATUS "    include path: ${OpenCV_INCLUDE_DIRS}")
message(STATUS "    libraries: ${OpenCV_LDFLAGS}")#rga
if(TARGET_SOC STREQUAL "rk356x")set(RGA_PATH ${CMAKE_SOURCE_DIR}/../3rdparty/rga/RK356X)
elseif(TARGET_SOC STREQUAL "rk3588")set(RGA_PATH ${CMAKE_SOURCE_DIR}/../3rdparty/rga/RK3588)
else()message(FATAL_ERROR "TARGET_SOC is not set, ref value: rk356x or rk3588")
endif()
if (CMAKE_SYSTEM_NAME STREQUAL "Android")set(RGA_LIB ${RGA_PATH}/lib/Android/${CMAKE_ANDROID_ARCH_ABI}/librga.so)
else()if (CMAKE_C_COMPILER MATCHES "aarch64")set(LIB_ARCH aarch64)else()set(LIB_ARCH armhf)endif()#链接库，就这一个set(RGA_LIB ${RGA_PATH}/lib/Linux//${LIB_ARCH}/librga.so)
endif()
include_directories( ${RGA_PATH}/include)#瑞芯微 glog日志库
set(GLOG_INCLUDE "/home/siping/thirdparty/glog_arm64/include/")
set(GLOG_LIB "/home/siping/thirdparty/glog_arm64/lib")include_directories(${GLOG_INCLUDE})
link_directories(${GLOG_LIB})message(STATUS "GLOG library status:")
message(STATUS "    include path: ${GLOG_INCLUDE}")
message(STATUS "    libraries: ${GLOG_LIB}")#链接头文件
include_directories( ${CMAKE_SOURCE_DIR}/include)#链接cpp文件
aux_source_directory(src DIR_CPP)#==============================================================# install target and libraries 将所有需要的依赖库放在同一个位置
#set install path
set(CMAKE_BUILD_RPATH "${OpenCV_LDFLAGS}")
set(CMAKE_INSTALL_PREFIX /home/siping/algunion/alglib)
message(STATUS "CMAKE_INSTALL_PREFIX = ${CMAKE_INSTALL_PREFIX}")# set runtime path
set(CMAKE_INSTALL_RPATH ".")# 如果想生成动态库，SHARE .so
#add_library(${PROJECT_NAME} SHARED  ${DIR_CPP})
#set(${PROJECT_NAME} PROPERTIES OUTPUT_NAME ${PROJECT_NAME})
add_executable(${PROJECT_NAME} src/main.cc ${DIR_CPP})target_link_libraries(${PROJECT_NAME}${RKNN_RT_LIB} #必须的runtime  librknnrt.so${RGA_LIB} #rga  librga.so${OpenCV_LDFLAGS}-lopencv_world${GLOG_LIB}-lglog)install(TARGETS ${PROJECT_NAME} DESTINATION ${CMAKE_INSTALL_PREFIX})file(GLOB GLOG_LIB "${GLOG_LIB}/lib*.so.*")
file(GLOB OpenCV_LDFLAGS "${OpenCV_LDFLAGS}/lib*.so.*")install(PROGRAMS${OpenCV_LDFLAGS}${RKNN_RT_LIB}${RGA_LIB}${GLOG_LIB}DESTINATION ${CMAKE_INSTALL_PREFIX})install(DIRECTORY model DESTINATION "/home/siping/algunion")

前面用到的环境和代码打个包，上传到了百度网盘，C++的部署的代码参考的里面都有，我自己这边只是根据自己的项目做了集成，如有需要可私信。

5 参考

检测模型：https://blog.csdn.net/zhangqian_1/article/details/135523096?spm=1001.2014.3001.5502
分割模型：https://blog.csdn.net/zhangqian_1/article/details/131571838?spm=1001.2014.3001.5502

另外一种部署方法，仅检测模型（Python）：
https://blog.csdn.net/m0_48979117/article/details/135628375

这篇关于瑞芯微RK3588 C++部署Yolov8检测和分割模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/776922。

相关文章

C++右移运算符的一个小坑及解决

C++右移运算符的一个小坑及解决

《C++右移运算符的一个小坑及解决》文章指出右移运算符处理负数时左侧补1导致死循环,与除法行为不同,强调需注意补码机制以正确统计二进制1的个数... 目录我遇到了这么一个www.chinasem.cn函数由此可以看到也很好理解总结我遇到了这么一个函数template<typename T>unsigned
阅读更多...
通过Docker容器部署Python环境的全流程

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践
阅读更多...
Nginx部署HTTP/3的实现步骤

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步：安装必要的依赖库第二步：获取并构建 BoringSSL第三步：获取 Nginx
阅读更多...
C++统计函数执行时间的最佳实践

C++统计函数执行时间的最佳实践

《C++统计函数执行时间的最佳实践》在软件开发过程中,性能分析是优化程序的重要环节,了解函数的执行时间分布对于识别性能瓶颈至关重要,本文将分享一个C++函数执行时间统计工具,希望对大家有所帮助... 目录前言工具特性核心设计1. 数据结构设计2. 单例模式管理器3. RAII自动计时使用方法基本用法高级用法
阅读更多...
redis-sentinel基础概念及部署流程

redis-sentinel基础概念及部署流程

《redis-sentinel基础概念及部署流程》RedisSentinel是Redis的高可用解决方案,通过监控主从节点、自动故障转移、通知机制及配置提供,实现集群故障恢复与服务持续可用,核心组件包... 目录一. 引言二. 核心功能三. 核心组件四. 故障转移流程五. 服务部署六. sentinel部署
阅读更多...
深入解析C++ 中std::map内存管理

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象
阅读更多...
C++ STL-string类底层实现过程

C++ STL-string类底层实现过程

《C++STL-string类底层实现过程》本文实现了一个简易的string类,涵盖动态数组存储、深拷贝机制、迭代器支持、容量调整、字符串修改、运算符重载等功能,模拟标准string核心特性,重点强... 目录实现框架一、默认成员函数1.默认构造函数2.构造函数3.拷贝构造函数(重点)4.赋值运算符重载函数
阅读更多...
C++ vector越界问题的完整解决方案

C++ vector越界问题的完整解决方案

《C++vector越界问题的完整解决方案》在C++开发中,std::vector作为最常用的动态数组容器,其便捷性与性能优势使其成为处理可变长度数据的首选,然而,数组越界访问始终是威胁程序稳定性的... 目录引言一、vector越界的底层原理与危害1.1 越界访问的本质原因1.2 越界访问的实际危害二、基
阅读更多...
Python脚本轻松实现检测麦克风功能

Python脚本轻松实现检测麦克风功能

《Python脚本轻松实现检测麦克风功能》在进行音频处理或开发需要使用麦克风的应用程序时,确保麦克风功能正常是非常重要的,本文将介绍一个简单的Python脚本,能够帮助我们检测本地麦克风的功能,需要的... 目录轻松检测麦克风功能脚本介绍一、python环境准备二、代码解析三、使用方法四、知识扩展轻松检测麦
阅读更多...
Linux部署中的文件大小写问题的解决方案

Linux部署中的文件大小写问题的解决方案

《Linux部署中的文件大小写问题的解决方案》在本地开发环境（Windows/macOS）一切正常,但部署到Linux服务器后出现模块加载错误,核心原因是Linux文件系统严格区分大小写,所以本文给大... 目录问题背景解决方案配置要求问题背景在本地开发环境（Windows/MACOS）一切正常，但部署到
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2