超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能

本文主要是介绍超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言:ROS提供的物体识别功能包find_object_2d,该功能包用起来相对简单,只需要简单进行模板匹配即可。需要接显示器进行模板训练,远程比较卡,不建议

一、功能包find_object_2d简介

ROS的优点之一是有大量可以在应用程序中复用的软件包。在我们的例程中,想要实现对一个物体的识别和检测。而find_object_2d包就是一个物体识别和检测的ROS功能包,它实现了SURF、SIFT、FAST和BRIEF特征检测器和用于物体检测的描述符。通过此包提供的GUI,可以标记待检测的物体,保存后可用来进行特征检测。而此包提供的检测器节点可检测摄像头图像中的物体,并通过主题发布物体的具体信息。此包还能通过3D传感器估计物体的深度信息和朝向信息。整体来说这个功能包安装是相当方便的,不过因为是模板匹配,所以局限性比较大,在目标物体未正对摄像头的情况下识别成功率不高,而且想要得到良好的匹配效果需要认真的调节参数,旋转合适的算法,另外输出的tf中心点坐标大致准确,但是姿态就不是很靠谱了。
使用find_object_2d功能包进行物体识别,该功能包采用模板匹配算法,相比较于yolov其优点在于操作简单,对硬件配置要求低,因此在树莓派和jetson nano两种主控板上都可以使用此功能包。其缺点在于模板匹配通常需要正对着图像效果较好。系统镜像都已经配置好了环境,按照使用说明即可操作。

先看一下这个功能包的效果:

在这里插入图片描述

二、启动摄像头

默认普通USB摄像头,不支持转换出真实的相对位置信息,如果需要获取位置的话,可以使用深度摄像头

注:适当降低摄像头发布频率,可以降低机载电脑计算压力

步骤1、启动USB摄像头或者D435摄像头(根据实际硬件选择)

roslaunch usb_cam usb_cam_test.launch //USB摄像头
或
roslaunch realsense2_camera rs_camera.launch //D435深度摄像头

在这里插入图片描述

三、启动find_object_2d功能包,启动后如下

终端输入:roslaunch find_object_2d find_object_2d.launch //USB摄像头
或
终端输入:roslaunch find_object_2d find_object_3d.launch //D435深度摄像头

find_object_3d.launch用于深度摄像头,可以获取相对坐标系位置

在这里插入图片描述

该命令将打开如图所示的物体检测器窗口,可以在其中看到摄像头采集到的图像和物体上的特征点。

在这里插入图片描述

那么如何用它来检测一个物体呢?下面是使用此工具执行基本检测的步骤。
①、右键单击此窗口左侧面板(Objects),将会出现Add objects from scene选项,选择此选项,将会弹出一个Add object对话框,它将引导你标记所关注的物体,在完成标记之后,标记物体即开始被跟踪。下图显示了第一步,它正在拍摄包含该物体的场景。
②、将物体对准摄像头后,按Take Picture按钮获取物体快照。
③、下一个窗口用于从当前快照中标记物体,如图所示。首先使用鼠标指针来标记框选物体,然后单击“Next”按钮裁剪物体,接着继续下一步。
在这里插入图片描述
④、裁剪物体后,将显示物体特征描述符总数,你可以点击“End”按钮添加此物体模板进行检测。
⑤、恭喜!你已经添加了一个待检测物体。一旦添加好物体,你将会看到物体周围多了一个边框,这说明此物体被检测到了,如图所示。

在这里插入图片描述在这里插入图片描述
5.2、查询物体的位置
步骤1、终端输入:rosrun find_object_2d print_objects_detected
在这里插入图片描述

步骤2、你还可以通过/object主题获取被检测物体的完整信息。该主题发布一个多维数组,该数组包含物体的宽、高信息和单应性矩阵信息,这些信息用来计算物体的位置、方向和剪切值。利用话题回显命令,回显话题/object将得到如图所示的结果。
在这里插入图片描述

date:后面第二、三个数据是宽度和高度,剩下的9个数据构成一个3x3的矩阵,
可以用下图公式计算位置和方向

其中,H是3×3的单应性矩阵,(x1,y1)是物体在存储图像中的位置,(x2,y2)是物体在当前帧中的位置。
这就对我们开发机器人很便利了,我们只需要订阅这个话题,获取我们想要的消息。

以下功能只针对深度摄像头,如果是普通的USB摄像头,可以直接跳过以下内容

启动坐标系转换节点

rosrun visual_trans visual_trans

此节点会监听物体相对于摄像头的位置,然后发布三维位置信息,信息如下:

①、未识别到物体的时候,会有红色,表示没有识别到对应的物体

在这里插入图片描述

②、识别到物体后发布三维位置信息

在这里插入图片描述

此文相当于介绍性质,这里不再做进一步的分析。

这篇关于超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/577470

相关文章

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

python使用try函数详解

《python使用try函数详解》Pythontry语句用于异常处理,支持捕获特定/多种异常、else/final子句确保资源释放,结合with语句自动清理,可自定义异常及嵌套结构,灵活应对错误场景... 目录try 函数的基本语法捕获特定异常捕获多个异常使用 else 子句使用 finally 子句捕获所

C++11右值引用与Lambda表达式的使用

《C++11右值引用与Lambda表达式的使用》C++11引入右值引用,实现移动语义提升性能,支持资源转移与完美转发;同时引入Lambda表达式,简化匿名函数定义,通过捕获列表和参数列表灵活处理变量... 目录C++11新特性右值引用和移动语义左值 / 右值常见的左值和右值移动语义移动构造函数移动复制运算符

Python对接支付宝支付之使用AliPay实现的详细操作指南

《Python对接支付宝支付之使用AliPay实现的详细操作指南》支付宝没有提供PythonSDK,但是强大的github就有提供python-alipay-sdk,封装里很多复杂操作,使用这个我们就... 目录一、引言二、准备工作2.1 支付宝开放平台入驻与应用创建2.2 密钥生成与配置2.3 安装ali

C#中lock关键字的使用小结

《C#中lock关键字的使用小结》在C#中,lock关键字用于确保当一个线程位于给定实例的代码块中时,其他线程无法访问同一实例的该代码块,下面就来介绍一下lock关键字的使用... 目录使用方式工作原理注意事项示例代码为什么不能lock值类型在C#中,lock关键字用于确保当一个线程位于给定实例的代码块中时

MySQL 强制使用特定索引的操作

《MySQL强制使用特定索引的操作》MySQL可通过FORCEINDEX、USEINDEX等语法强制查询使用特定索引,但优化器可能不采纳,需结合EXPLAIN分析执行计划,避免性能下降,注意版本差异... 目录1. 使用FORCE INDEX语法2. 使用USE INDEX语法3. 使用IGNORE IND

C# $字符串插值的使用

《C#$字符串插值的使用》本文介绍了C#中的字符串插值功能,详细介绍了使用$符号的实现方式,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录$ 字符使用方式创建内插字符串包含不同的数据类型控制内插表达式的格式控制内插表达式的对齐方式内插表达式中使用转义序列内插表达式中使用

flask库中sessions.py的使用小结

《flask库中sessions.py的使用小结》在Flask中Session是一种用于在不同请求之间存储用户数据的机制,Session默认是基于客户端Cookie的,但数据会经过加密签名,防止篡改,... 目录1. Flask Session 的基本使用(1) 启用 Session(2) 存储和读取 Se

Java Thread中join方法使用举例详解

《JavaThread中join方法使用举例详解》JavaThread中join()方法主要是让调用改方法的thread完成run方法里面的东西后,在执行join()方法后面的代码,这篇文章主要介绍... 目录前言1.join()方法的定义和作用2.join()方法的三个重载版本3.join()方法的工作原

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语