前视声呐目标识别定位(二)-目标识别定位模块

2024-04-04 17:28

本文主要是介绍前视声呐目标识别定位(二)-目标识别定位模块,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前视声呐目标识别定位(一)-基础知识

前视声呐目标识别定位(二)-目标识别定位模块   

前视声呐目标识别定位(三)-部署至机器人

前视声呐目标识别定位(四)-代码解析之启动识别模块

前视声呐目标识别定位(五)-代码解析之修改声呐参数

前视声呐目标识别定位(六)-代码解析之目标截图并传输

前视声呐目标识别定位(七)-代码解析之录制数据包

前视声呐目标识别定位(八)-代码解析之各模块通信

前视声呐目标识别定位(九)-声呐驱动

        基于前文介绍的基础知识,结合Yolo即可实现目标识别及位置解算。再强调一次仅依靠二维声呐图像是无法实现三维位置的解算的,只能获得位置的距离及水平开角,缺少竖直开角的信息。

        项目地址:GitHub - cabinx/yolov5_humble_fls: forward looking sonar object recognition with yolov5 based on ros humble for self use

        一、目标物message格式(object_msgs)

        ObjectAzimuthRange.msg(单个目标msg)

string class_name        # 目标种类
float64 probability      # 置信率
float64 object_azimuth   # 目标水平开角
float64 object_range     # 目标距离
int64 num                # 废弃,原构想是目标序号
int64 xmin               # bounding box
int64 ymin               # bounding box
int64 xmax               # bounding box
int64 ymax               # bounding box

          ObjectsAzimuthRange.msg(图像中所有目标msg)

std_msgs/Header header
ObjectAzimuthRange[] object_azimuth_range

        二、声呐图像格式

        项目中我将声呐图像封装成sensor_msgs/Image的格式方便Yolo识别模块。根据前文介绍的前视声呐图像像素点位置解算的知识,需要声呐水平开角及量程信息。比较合理的方式是重新设计一个msg,将以上所有信息包含。在此我为了开发方便,就将水平开角及量程信息以字符串的形式封装进sensor_msgs/Image中Header下的frame_id里。以水平开角120度,量程10m为例,在msg中的格式为:frame_id: '[120 10]'。两个数据以空格间隔。

         三、识别模块(yolov5_humble_fls)

         识别模块主要基于Yolov5 V7.0:https://github.com/ultralytics/yolov5/tree/v7.0

         相应代码及预训练权值可以在上述链接获取,模型训练等教程也可以参见上述链接。

         后续结合ROS2 Humble完成了识别模块,在此简单介绍一些关键步骤的代码注释。

         yolov5_sonar.py

def image_callback(self, image):....#获声呐当前帧的水平开角和量程# loading the range and azimuth of sonarsonar_info = image.header.frame_idmid_index = sonar_info.find(' ')sonar_azimuth = float(sonar_info[1 : mid_index])sonar_range = float(sonar_info[mid_index + 1 : -1])...
def dectshow(self, org_img, boxs, sonar_azimuth, sonar_range):...for box in boxs:...#取目标框的中心点并解算该像素的水平开角及距离作为目标位置object_x = (int(box[0]) + int(box[2])) / 2.0                          #widthobject_y = (int(box[1]) + int(box[3])) / 2.0                          #heightobject_azimuth_range.object_azimuth = (object_x / (image_width / 2.0) - 1.0) * (sonar_azimuth / 2.0)object_azimuth_range.object_range = (1.0 - object_y / image_height) * (sonar_range)...

        参数文件:yolov5_humble_fls.yaml

/yolov5_humble_fls/yolov5_ros2:ros__parameters:yolov5_path: # yolov5 源码路径weight_path: # 模型路径image_topic: # 声呐图像topic名称objects_info_pub_topic: #目标物信息topic名称conf: # 置信率use_cpu: # 是否启用Cudadisplay_image: # 是否展示识别图像

         四、离线测试数据包

         链接:百度网盘 请输入提取码

         提取码:jm67 

         该数据包是使用我之前开源的UATD数据集中的rov目标图像合成的数据包。模型训练也是使用了该数据集。为了方便我将声呐的开角及量程都写死固定。能满足测试需求,只不过目标物的位置信息不正确罢了。

         五、测试

ros2 launch yolov5_humble_fls start.launch
ros2 bag play sonar_mono

        展示的目标框的注释为:目标种类-置信率:(水平开角,距离)   

        测试视频:

       

yolov5-sonar-test_2

这篇关于前视声呐目标识别定位(二)-目标识别定位模块的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/876399

相关文章

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java进程异常故障定位及排查过程

《Java进程异常故障定位及排查过程》:本文主要介绍Java进程异常故障定位及排查过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、故障发现与初步判断1. 监控系统告警2. 日志初步分析二、核心排查工具与步骤1. 进程状态检查2. CPU 飙升问题3. 内存

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

Python中图片与PDF识别文本(OCR)的全面指南

《Python中图片与PDF识别文本(OCR)的全面指南》在数据爆炸时代,80%的企业数据以非结构化形式存在,其中PDF和图像是最主要的载体,本文将深入探索Python中OCR技术如何将这些数字纸张转... 目录一、OCR技术核心原理二、python图像识别四大工具库1. Pytesseract - 经典O

CSS Anchor Positioning重新定义锚点定位的时代来临(最新推荐)

《CSSAnchorPositioning重新定义锚点定位的时代来临(最新推荐)》CSSAnchorPositioning是一项仍在草案中的新特性,由Chrome125开始提供原生支持需... 目录 css Anchor Positioning:重新定义「锚定定位」的时代来了! 什么是 Anchor Pos

一文深入详解Python的secrets模块

《一文深入详解Python的secrets模块》在构建涉及用户身份认证、权限管理、加密通信等系统时,开发者最不能忽视的一个问题就是“安全性”,Python在3.6版本中引入了专门面向安全用途的secr... 目录引言一、背景与动机:为什么需要 secrets 模块?二、secrets 模块的核心功能1. 基

Python基于微信OCR引擎实现高效图片文字识别

《Python基于微信OCR引擎实现高效图片文字识别》这篇文章主要为大家详细介绍了一款基于微信OCR引擎的图片文字识别桌面应用开发全过程,可以实现从图片拖拽识别到文字提取,感兴趣的小伙伴可以跟随小编一... 目录一、项目概述1.1 开发背景1.2 技术选型1.3 核心优势二、功能详解2.1 核心功能模块2.

Python验证码识别方式(使用pytesseract库)

《Python验证码识别方式(使用pytesseract库)》:本文主要介绍Python验证码识别方式(使用pytesseract库),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录1、安装Tesseract-OCR2、在python中使用3、本地图片识别4、结合playwrigh

Python logging模块使用示例详解

《Pythonlogging模块使用示例详解》Python的logging模块是一个灵活且强大的日志记录工具,广泛应用于应用程序的调试、运行监控和问题排查,下面给大家介绍Pythonlogging模... 目录一、为什么使用 logging 模块?二、核心组件三、日志级别四、基本使用步骤五、快速配置(bas

使用Python和PaddleOCR实现图文识别的代码和步骤

《使用Python和PaddleOCR实现图文识别的代码和步骤》在当今数字化时代,图文识别技术的应用越来越广泛,如文档数字化、信息提取等,PaddleOCR是百度开源的一款强大的OCR工具包,它集成了... 目录一、引言二、环境准备2.1 安装 python2.2 安装 PaddlePaddle2.3 安装