超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能

本文主要是介绍超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言:ROS提供的物体识别功能包find_object_2d,该功能包用起来相对简单,只需要简单进行模板匹配即可。需要接显示器进行模板训练,远程比较卡,不建议

一、功能包find_object_2d简介

ROS的优点之一是有大量可以在应用程序中复用的软件包。在我们的例程中,想要实现对一个物体的识别和检测。而find_object_2d包就是一个物体识别和检测的ROS功能包,它实现了SURF、SIFT、FAST和BRIEF特征检测器和用于物体检测的描述符。通过此包提供的GUI,可以标记待检测的物体,保存后可用来进行特征检测。而此包提供的检测器节点可检测摄像头图像中的物体,并通过主题发布物体的具体信息。此包还能通过3D传感器估计物体的深度信息和朝向信息。整体来说这个功能包安装是相当方便的,不过因为是模板匹配,所以局限性比较大,在目标物体未正对摄像头的情况下识别成功率不高,而且想要得到良好的匹配效果需要认真的调节参数,旋转合适的算法,另外输出的tf中心点坐标大致准确,但是姿态就不是很靠谱了。
使用find_object_2d功能包进行物体识别,该功能包采用模板匹配算法,相比较于yolov其优点在于操作简单,对硬件配置要求低,因此在树莓派和jetson nano两种主控板上都可以使用此功能包。其缺点在于模板匹配通常需要正对着图像效果较好。系统镜像都已经配置好了环境,按照使用说明即可操作。

先看一下这个功能包的效果:

在这里插入图片描述

二、启动摄像头

默认普通USB摄像头,不支持转换出真实的相对位置信息,如果需要获取位置的话,可以使用深度摄像头

注:适当降低摄像头发布频率,可以降低机载电脑计算压力

步骤1、启动USB摄像头或者D435摄像头(根据实际硬件选择)

roslaunch usb_cam usb_cam_test.launch //USB摄像头
或
roslaunch realsense2_camera rs_camera.launch //D435深度摄像头

在这里插入图片描述

三、启动find_object_2d功能包,启动后如下

终端输入:roslaunch find_object_2d find_object_2d.launch //USB摄像头
或
终端输入:roslaunch find_object_2d find_object_3d.launch //D435深度摄像头

find_object_3d.launch用于深度摄像头,可以获取相对坐标系位置

在这里插入图片描述

该命令将打开如图所示的物体检测器窗口,可以在其中看到摄像头采集到的图像和物体上的特征点。

在这里插入图片描述

那么如何用它来检测一个物体呢?下面是使用此工具执行基本检测的步骤。
①、右键单击此窗口左侧面板(Objects),将会出现Add objects from scene选项,选择此选项,将会弹出一个Add object对话框,它将引导你标记所关注的物体,在完成标记之后,标记物体即开始被跟踪。下图显示了第一步,它正在拍摄包含该物体的场景。
②、将物体对准摄像头后,按Take Picture按钮获取物体快照。
③、下一个窗口用于从当前快照中标记物体,如图所示。首先使用鼠标指针来标记框选物体,然后单击“Next”按钮裁剪物体,接着继续下一步。
在这里插入图片描述
④、裁剪物体后,将显示物体特征描述符总数,你可以点击“End”按钮添加此物体模板进行检测。
⑤、恭喜!你已经添加了一个待检测物体。一旦添加好物体,你将会看到物体周围多了一个边框,这说明此物体被检测到了,如图所示。

在这里插入图片描述在这里插入图片描述
5.2、查询物体的位置
步骤1、终端输入:rosrun find_object_2d print_objects_detected
在这里插入图片描述

步骤2、你还可以通过/object主题获取被检测物体的完整信息。该主题发布一个多维数组,该数组包含物体的宽、高信息和单应性矩阵信息,这些信息用来计算物体的位置、方向和剪切值。利用话题回显命令,回显话题/object将得到如图所示的结果。
在这里插入图片描述

date:后面第二、三个数据是宽度和高度,剩下的9个数据构成一个3x3的矩阵,
可以用下图公式计算位置和方向

其中,H是3×3的单应性矩阵,(x1,y1)是物体在存储图像中的位置,(x2,y2)是物体在当前帧中的位置。
这就对我们开发机器人很便利了,我们只需要订阅这个话题,获取我们想要的消息。

以下功能只针对深度摄像头,如果是普通的USB摄像头,可以直接跳过以下内容

启动坐标系转换节点

rosrun visual_trans visual_trans

此节点会监听物体相对于摄像头的位置,然后发布三维位置信息,信息如下:

①、未识别到物体的时候,会有红色,表示没有识别到对应的物体

在这里插入图片描述

②、识别到物体后发布三维位置信息

在这里插入图片描述

此文相当于介绍性质,这里不再做进一步的分析。

这篇关于超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/577470

相关文章

Python正则表达式匹配和替换的操作指南

《Python正则表达式匹配和替换的操作指南》正则表达式是处理文本的强大工具,Python通过re模块提供了完整的正则表达式功能,本文将通过代码示例详细介绍Python中的正则匹配和替换操作,需要的朋... 目录基础语法导入re模块基本元字符常用匹配方法1. re.match() - 从字符串开头匹配2.

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

springboot中使用okhttp3的小结

《springboot中使用okhttp3的小结》OkHttp3是一个JavaHTTP客户端,可以处理各种请求类型,比如GET、POST、PUT等,并且支持高效的HTTP连接池、请求和响应缓存、以及异... 在 Spring Boot 项目中使用 OkHttp3 进行 HTTP 请求是一个高效且流行的方式。

Java使用Javassist动态生成HelloWorld类

《Java使用Javassist动态生成HelloWorld类》Javassist是一个非常强大的字节码操作和定义库,它允许开发者在运行时创建新的类或者修改现有的类,本文将简单介绍如何使用Javass... 目录1. Javassist简介2. 环境准备3. 动态生成HelloWorld类3.1 创建CtC

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

C#使用Spire.Doc for .NET实现HTML转Word的高效方案

《C#使用Spire.Docfor.NET实现HTML转Word的高效方案》在Web开发中,HTML内容的生成与处理是高频需求,然而,当用户需要将HTML页面或动态生成的HTML字符串转换为Wor... 目录引言一、html转Word的典型场景与挑战二、用 Spire.Doc 实现 HTML 转 Word1

Java中的抽象类与abstract 关键字使用详解

《Java中的抽象类与abstract关键字使用详解》:本文主要介绍Java中的抽象类与abstract关键字使用详解,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、抽象类的概念二、使用 abstract2.1 修饰类 => 抽象类2.2 修饰方法 => 抽象方法,没有

MyBatis ParameterHandler的具体使用

《MyBatisParameterHandler的具体使用》本文主要介绍了MyBatisParameterHandler的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一、概述二、源码1 关键属性2.setParameters3.TypeHandler1.TypeHa