【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04

2024-06-14 05:36
文章标签 抓取 安装 软件 检测 detection ros ubuntu18.04 pose 姿态 grasp gpd

本文主要是介绍【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、GPD 教程
    • 1.1、依赖要求
    • 1.2、安装GPD
    • 1.3、使用GPD
      • 1.3.1 为点云文件生成抓取
    • 1.4、参数
    • 1.5、可视
    • 1.6、神经网络的输入通道
    • 1.7、CNN框架
    • 1.8、Network Training
    • 1.9、抓取图像/描述符
    • 1.10、故障排除提示
  • 二、gpd_ros 教程
    • 2.1 安装gps_ros流程：
    • 2.2 使用gpd_ros

 
 

抓取姿态检测(GPD)是用于在3D点云中检测2指机器人手(例如，平行颚夹)的6-DOF抓取姿态(3-DOF位置和3-DOF方向)的包。GPD将点云作为输入，并产生可行抓取的姿态估计作为输出。GPD的主要优势是:

  • 适用于新颖的对象(检测不需要CAD模型)，
  • 在密集杂乱的环境中工作，并且
  • 输出6自由度抓取姿态(不仅仅是自上而下的抓取)。

GPD由两个主要步骤组成:对大量抓取候选对象进行采样，并将这些候选对象分类为可行抓取对象或不可行抓取对象。

安装过程中的参考博文：
1、ROS kinetic 升级 PCL1.9.0 以安装gpd库和gpd_ros
2、ROS 包封装 GPD【使用方法】
 

一、GPD 教程

1.1、依赖要求

在这里插入图片描述
可以参考之前的博文： 【软件安装9】OpenCV多版本安装Ubuntu18.04
                                        与 【软件安装10】PCL多版本安装Ubuntu18.04 进行提前安装对应的依赖版本。

 
 

1.2、安装GPD


// clone 如下仓库
git clone https://github.com/atenpas/gpdcd gpd
mkdir build && cd build
cmake ..
make -j// 您可以选择使用sudo make install安装GPD，以便它可以作为共享库被其他项目使用。
// 如果构建包不起作用，请尝试修改CMakeLists.txt文件中的编译器标志CMAKE_CXX_FLAGS。

 
 

1.3、使用GPD

 

1.3.1 为点云文件生成抓取

在点云文件（PCD或PLY）上运行GPD


// 在 该路径下 /home/hzx/Videos/zhihu_ws/ws_moveit/src/robot_sim/gpd/build 执行指令
./detect_grasps ../cfg/eigen_params.cfg ../tutorials/krylon.pcd

在这里插入图片描述
 

会依次输出类似于下面的屏幕截图【截图均为PCL的查看器】，该窗口是PCL查看器。您可以按【q】关闭窗口，按【h】查看其他命令列表。：

执行指令后，
首先出现标题为 Normals 的查看器1；
鼠标点击选中该查看器1，按键q，会出现标题为 Grasp candidates 的查看器2；
再次鼠标点击两个查看器中的任意一个后，按键q，会出现标题为Selected Grasps 查看器3；
最后点击三个查看器中的任意一个后，按键q，会关闭所有查看器窗口】

在这里插入图片描述

 
下面是GPD用于抓取姿势（位置和方向）的惯例的可视化。抓取位置由橙色十字表示，方向由彩色箭头表示。【坐标轴，副法线，靠近】
在这里插入图片描述

 

1.4、参数

cfg/eigen_params.cfg 中给出了参数的简要说明。

您通常希望用来提高找到的抓取次数的两个参数是workspace和num_samples。第一个将在其中搜索抓取的空间体积定义为以点云框架的原点为中心的维度为[minX，maxX，minY，maxY，minZ，maxZ]的长方体。第二个是从点云中提取的用于检测抓取的样本数量。您应该将工作空间设置得尽可能小，并将样本数量设置得尽可能多。

大部分代码都是并行化的。要提高运行时间，请将num_threads设置为计算机可用的(物理)CPU核心数。

 

1.5、可视

您可以将该套件与一个或两个深度传感器一起使用。这个包附带了两者的CAFFE模型文件。您可以在models/caffe/15channels中找到这些文件。对于单个传感器，使用single _ view _ 15 _ channels . caffe model，对于两个深度传感器，使用two_views_15_channels_[angle]。[角度]是两个传感器视图之间的角度，如下图所示。在双视图设置中，您希望在将两个点云发送到GPD之前将它们注册在一起。

在这里插入图片描述

将摄像机位置提供给配置文件( *.cfg ) 很重要，因为它使PCL能够估计正确的法线方向(指向相机)。或者，使用ROS包装器，可以提供多个摄像机位置。
在这里插入图片描述

要在一个和两个传感器视图之间切换，请更改配置文件中的参数weight_file。
 

1.6、神经网络的输入通道

该软件包带有神经网络的两种不同输入表示的权重文件，用于决定抓取是否可行:3或15个通道。默认为15个通道。但是，您可以使用3个通道来获得更好的运行时间，以弥补抓取质量的损失。有关更多详细信息，请参见下面的参考资料。
 

1.7、CNN框架

GPD附带了许多不同的分类器框架，它们利用不同的硬件并具有不同的依赖性。在框架之间切换需要运行带有附加参数的CMake。例如，要使用OpenVino框架:


cmake .. -DUSE_OPENVINO=ON

您可以使用ccmake来检查所有可能的cmake选项。

GPD支持以下三个框架:

OpenVino: installation instructions for open source version (CPUs, GPUs, FPGAs from Intel)
Caffe (GPUs from Nvidia or CPUs)
Custom LeNet implementation using the Eigen library (CPU)

可以通过对分类器接口进行子类化来添加额外的分类器。

OpenVINO
速度上推荐OpenVINO。要使用OpenVINO，您需要在编译GPD之前运行以下命令。


export InferenceEngine_DIR=/path/to/dldt/inference-engine/build/

 

1.8、Network Training

要用C++代码创建训练数据，需要安装OpenCV 3.4 Contribs。接下来，您需要编译带有DBUILD_DATA_GENERATION标志的GPD，如下所示:


cd gpd
mkdir build && cd build
cmake .. -DBUILD_DATA_GENERATION=ON
make -j

训练网络来预测抓取姿态有四个步骤。
首先，我们需要创建抓取图像。


./generate_data ../cfg/generate_data.cfg

你应该根据需要修改generate_data.cfg。

 
接下来，您需要将创建的数据库调整为train_offset和test_offset(参见generate_data的终端输出)。例如，要调整训练集的大小，请使用以下命令，并将size设置为train_offset的值。


cd pytorch
python reshape_hdf5.py pathToTrainingSet.h5 out.h5 size

 
第三步是训练一个神经网络。训练网络最简单的方法是使用现有的代码。这需要pytorch框架。要训练网络，请使用以下命令。


cd pytorch
python train_net3.py pathToTrainingSet.h5 pathToTestSet.h5 num_channels

 
第四步是将模型转换成ONNX格式。


python torch_to_onxx.py pathToPytorchModel.pwf pathToONNXModel.onnx num_channels

 
最后一步是将ONNX文件转换成OpenVINO兼容格式:tutorial。这提供了两个文件，可以通过修改CFG文件中的weight_file和model_file参数用GPD加载。

 

1.9、抓取图像/描述符

生成一些抓取姿态及其相应的图像/描述符:


./test_grasp_image ../tutorials/krylon.pcd 3456 1 ../models/lenet/15channels/params/

在这里插入图片描述

有关如何创建grasp图像的详细信息，请查看我们的期刊论文。

 

1.10、故障排除提示

Remove the cmake cache: rm CMakeCache.txt
make clean
Remove the build folder and rebuild.
Update gcc and g++ to a version > 5.

 
 

二、gpd_ros 教程

 

2.1 安装gps_ros流程：

 

1. Install GPD. Make sure to run make install to install GPD as a library.【见流程一】
 

2. 源码拉取


cd <location_of_your_workspace>/src
git clone https://github.com/atenpas/gpd_ros

 
3. 编译源码


cd <location_of_your_workspace>
catkin_make

 

2.2 使用gpd_ros

为ROS话题点云生成抓取

  • 1、首先，需要修改 gpd 文件夹中的配置文件，例如 <path_to_gpd>/cfg/ros_eigen_params.cfg， 搜索具有绝对文件路径的参数，并将其更改为系统上的实际路径【也就是有几个配置文件中有绝对路径的，就如/home/***这样的，要根据自己文件的实际路径进行修改】，下面列举了一个例子，还有还几个地方需要修改。

在这里插入图片描述

在这里插入图片描述
 

  • 2、接下来，需要修改ROS启动文件中的路径，该路径指向您在上一步中更改的配置文件，例如这一行。

在这里插入图片描述

 

  • 3、现在，您可以将GPD作为ROS节点运行。以下命令将启动一个等待ROS topic /cloud_stitched上的点云的ROS节点。一旦接收到点云，节点将在云中搜索抓取点。

roslaunch gpd_ros ur5.launch

这篇关于【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1059522。

相关文章

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列？ 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队
阅读更多...
linux系统上安装JDK8全过程

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk？1.查看linux系统是否有自带的jdk：2.下载jdk压缩包2.解压3.配置环境
阅读更多...
Python脚本轻松实现检测麦克风功能

Python脚本轻松实现检测麦克风功能

《Python脚本轻松实现检测麦克风功能》在进行音频处理或开发需要使用麦克风的应用程序时,确保麦克风功能正常是非常重要的,本文将介绍一个简单的Python脚本,能够帮助我们检测本地麦克风的功能,需要的... 目录轻松检测麦克风功能脚本介绍一、python环境准备二、代码解析三、使用方法四、知识扩展轻松检测麦
阅读更多...
Python库 Django 的简介、安装、用法入门教程

Python库 Django 的简介、安装、用法入门教程

《Python库Django的简介、安装、用法入门教程》Django是Python最流行的Web框架之一,它帮助开发者快速、高效地构建功能强大的Web应用程序,接下来我们将从简介、安装到用法详解,... 目录一、Django 简介 二、Django 的安装教程 1. 创建虚拟环境2. 安装Django三、创
阅读更多...
linux安装、更新、卸载anaconda实践

linux安装、更新、卸载anaconda实践

《linux安装、更新、卸载anaconda实践》Anaconda是基于conda的科学计算环境,集成1400+包及依赖,安装需下载脚本、接受协议、设置路径、配置环境变量,更新与卸载通过conda命令... 目录随意找一个目录下载安装脚本检查许可证协议，ENTER就可以安装完毕之后激活anaconda安装更
阅读更多...
Jenkins的安装与简单配置过程

Jenkins的安装与简单配置过程

《Jenkins的安装与简单配置过程》本文简述Jenkins在CentOS7.3上安装流程,包括Java环境配置、RPM包安装、修改JENKINS_HOME路径及权限、启动服务、插件安装与系统管理设置... 目录www.chinasem.cnJenkins安装访问并配置JenkinsJenkins配置邮件通知
阅读更多...
Win10安装Maven与环境变量配置过程

Win10安装Maven与环境变量配置过程

《Win10安装Maven与环境变量配置过程》本文介绍Maven的安装与配置方法,涵盖下载、环境变量设置、本地仓库及镜像配置,指导如何在IDEA中正确配置Maven,适用于Java及其他语言项目的构建... 目录Maven 是什么？一、下载二、安装三、配置环境四、验证测试五、配置本地仓库六、配置国内镜像地址
阅读更多...
Python安装Pandas库的两种方法

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一：cmd命令行执行pip install pandas方法二：找到pandas下载库，然后
阅读更多...
Linux系统中查询JDK安装目录的几种常用方法

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》：本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1：通过update-alternatives查询（推荐）方法 2：检查所有已安装的 JDK方
阅读更多...
SQL Server安装时候没有中文选项的解决方法

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同，并且无论如何都没有中文选项？这个问题也
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2