【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04

2024-06-14 05:36
文章标签 抓取 安装 软件 检测 detection ros ubuntu18.04 pose 姿态 grasp gpd

本文主要是介绍【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、GPD 教程
    • 1.1、依赖要求
    • 1.2、安装GPD
    • 1.3、使用GPD
      • 1.3.1 为点云文件生成抓取
    • 1.4、参数
    • 1.5、可视
    • 1.6、神经网络的输入通道
    • 1.7、CNN框架
    • 1.8、Network Training
    • 1.9、抓取图像/描述符
    • 1.10、故障排除提示
  • 二、gpd_ros 教程
    • 2.1 安装gps_ros流程：
    • 2.2 使用gpd_ros

 
 

抓取姿态检测(GPD)是用于在3D点云中检测2指机器人手(例如，平行颚夹)的6-DOF抓取姿态(3-DOF位置和3-DOF方向)的包。GPD将点云作为输入，并产生可行抓取的姿态估计作为输出。GPD的主要优势是:

  • 适用于新颖的对象(检测不需要CAD模型)，
  • 在密集杂乱的环境中工作，并且
  • 输出6自由度抓取姿态(不仅仅是自上而下的抓取)。

GPD由两个主要步骤组成:对大量抓取候选对象进行采样，并将这些候选对象分类为可行抓取对象或不可行抓取对象。

安装过程中的参考博文：
1、ROS kinetic 升级 PCL1.9.0 以安装gpd库和gpd_ros
2、ROS 包封装 GPD【使用方法】
 

一、GPD 教程

1.1、依赖要求

在这里插入图片描述
可以参考之前的博文： 【软件安装9】OpenCV多版本安装Ubuntu18.04
                                        与 【软件安装10】PCL多版本安装Ubuntu18.04 进行提前安装对应的依赖版本。

 
 

1.2、安装GPD


// clone 如下仓库
git clone https://github.com/atenpas/gpdcd gpd
mkdir build && cd build
cmake ..
make -j// 您可以选择使用sudo make install安装GPD，以便它可以作为共享库被其他项目使用。
// 如果构建包不起作用，请尝试修改CMakeLists.txt文件中的编译器标志CMAKE_CXX_FLAGS。

 
 

1.3、使用GPD

 

1.3.1 为点云文件生成抓取

在点云文件（PCD或PLY）上运行GPD


// 在 该路径下 /home/hzx/Videos/zhihu_ws/ws_moveit/src/robot_sim/gpd/build 执行指令
./detect_grasps ../cfg/eigen_params.cfg ../tutorials/krylon.pcd

在这里插入图片描述
 

会依次输出类似于下面的屏幕截图【截图均为PCL的查看器】，该窗口是PCL查看器。您可以按【q】关闭窗口，按【h】查看其他命令列表。：

执行指令后，
首先出现标题为 Normals 的查看器1；
鼠标点击选中该查看器1，按键q，会出现标题为 Grasp candidates 的查看器2；
再次鼠标点击两个查看器中的任意一个后，按键q，会出现标题为Selected Grasps 查看器3；
最后点击三个查看器中的任意一个后，按键q，会关闭所有查看器窗口】

在这里插入图片描述

 
下面是GPD用于抓取姿势（位置和方向）的惯例的可视化。抓取位置由橙色十字表示，方向由彩色箭头表示。【坐标轴，副法线，靠近】
在这里插入图片描述

 

1.4、参数

cfg/eigen_params.cfg 中给出了参数的简要说明。

您通常希望用来提高找到的抓取次数的两个参数是workspace和num_samples。第一个将在其中搜索抓取的空间体积定义为以点云框架的原点为中心的维度为[minX，maxX，minY，maxY，minZ，maxZ]的长方体。第二个是从点云中提取的用于检测抓取的样本数量。您应该将工作空间设置得尽可能小，并将样本数量设置得尽可能多。

大部分代码都是并行化的。要提高运行时间，请将num_threads设置为计算机可用的(物理)CPU核心数。

 

1.5、可视

您可以将该套件与一个或两个深度传感器一起使用。这个包附带了两者的CAFFE模型文件。您可以在models/caffe/15channels中找到这些文件。对于单个传感器，使用single _ view _ 15 _ channels . caffe model，对于两个深度传感器，使用two_views_15_channels_[angle]。[角度]是两个传感器视图之间的角度，如下图所示。在双视图设置中，您希望在将两个点云发送到GPD之前将它们注册在一起。

在这里插入图片描述

将摄像机位置提供给配置文件( *.cfg ) 很重要，因为它使PCL能够估计正确的法线方向(指向相机)。或者，使用ROS包装器，可以提供多个摄像机位置。
在这里插入图片描述

要在一个和两个传感器视图之间切换，请更改配置文件中的参数weight_file。
 

1.6、神经网络的输入通道

该软件包带有神经网络的两种不同输入表示的权重文件，用于决定抓取是否可行:3或15个通道。默认为15个通道。但是，您可以使用3个通道来获得更好的运行时间，以弥补抓取质量的损失。有关更多详细信息，请参见下面的参考资料。
 

1.7、CNN框架

GPD附带了许多不同的分类器框架，它们利用不同的硬件并具有不同的依赖性。在框架之间切换需要运行带有附加参数的CMake。例如，要使用OpenVino框架:


cmake .. -DUSE_OPENVINO=ON

您可以使用ccmake来检查所有可能的cmake选项。

GPD支持以下三个框架:

OpenVino: installation instructions for open source version (CPUs, GPUs, FPGAs from Intel)
Caffe (GPUs from Nvidia or CPUs)
Custom LeNet implementation using the Eigen library (CPU)

可以通过对分类器接口进行子类化来添加额外的分类器。

OpenVINO
速度上推荐OpenVINO。要使用OpenVINO，您需要在编译GPD之前运行以下命令。


export InferenceEngine_DIR=/path/to/dldt/inference-engine/build/

 

1.8、Network Training

要用C++代码创建训练数据，需要安装OpenCV 3.4 Contribs。接下来，您需要编译带有DBUILD_DATA_GENERATION标志的GPD，如下所示:


cd gpd
mkdir build && cd build
cmake .. -DBUILD_DATA_GENERATION=ON
make -j

训练网络来预测抓取姿态有四个步骤。
首先，我们需要创建抓取图像。


./generate_data ../cfg/generate_data.cfg

你应该根据需要修改generate_data.cfg。

 
接下来，您需要将创建的数据库调整为train_offset和test_offset(参见generate_data的终端输出)。例如，要调整训练集的大小，请使用以下命令，并将size设置为train_offset的值。


cd pytorch
python reshape_hdf5.py pathToTrainingSet.h5 out.h5 size

 
第三步是训练一个神经网络。训练网络最简单的方法是使用现有的代码。这需要pytorch框架。要训练网络，请使用以下命令。


cd pytorch
python train_net3.py pathToTrainingSet.h5 pathToTestSet.h5 num_channels

 
第四步是将模型转换成ONNX格式。


python torch_to_onxx.py pathToPytorchModel.pwf pathToONNXModel.onnx num_channels

 
最后一步是将ONNX文件转换成OpenVINO兼容格式:tutorial。这提供了两个文件，可以通过修改CFG文件中的weight_file和model_file参数用GPD加载。

 

1.9、抓取图像/描述符

生成一些抓取姿态及其相应的图像/描述符:


./test_grasp_image ../tutorials/krylon.pcd 3456 1 ../models/lenet/15channels/params/

在这里插入图片描述

有关如何创建grasp图像的详细信息，请查看我们的期刊论文。

 

1.10、故障排除提示

Remove the cmake cache: rm CMakeCache.txt
make clean
Remove the build folder and rebuild.
Update gcc and g++ to a version > 5.

 
 

二、gpd_ros 教程

 

2.1 安装gps_ros流程：

 

1. Install GPD. Make sure to run make install to install GPD as a library.【见流程一】
 

2. 源码拉取


cd <location_of_your_workspace>/src
git clone https://github.com/atenpas/gpd_ros

 
3. 编译源码


cd <location_of_your_workspace>
catkin_make

 

2.2 使用gpd_ros

为ROS话题点云生成抓取

  • 1、首先，需要修改 gpd 文件夹中的配置文件，例如 <path_to_gpd>/cfg/ros_eigen_params.cfg， 搜索具有绝对文件路径的参数，并将其更改为系统上的实际路径【也就是有几个配置文件中有绝对路径的，就如/home/***这样的，要根据自己文件的实际路径进行修改】，下面列举了一个例子，还有还几个地方需要修改。

在这里插入图片描述

在这里插入图片描述
 

  • 2、接下来，需要修改ROS启动文件中的路径，该路径指向您在上一步中更改的配置文件，例如这一行。

在这里插入图片描述

 

  • 3、现在，您可以将GPD作为ROS节点运行。以下命令将启动一个等待ROS topic /cloud_stitched上的点云的ROS节点。一旦接收到点云，节点将在云中搜索抓取点。

roslaunch gpd_ros ur5.launch

这篇关于【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1059522。

相关文章

Java SWT库详解与安装指南(最新推荐)

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》：本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.
阅读更多...
安装centos8设置基础软件仓库时出错的解决方案

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》：本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas
阅读更多...
Pytorch介绍与安装过程

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优
阅读更多...
conda安装GPU版pytorch默认却是cpu版本

conda安装GPU版pytorch默认却是cpu版本

《conda安装GPU版pytorch默认却是cpu版本》本文主要介绍了遇到Conda安装PyTorchGPU版本却默认安装CPU的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录一、问题描述二、网上解决方案罗列【此节为反面方案罗列！！！】三、发现的根本原因[独家]3.1 p
阅读更多...
如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的？mac系统中有很多自带的应用，想要看看哪些是系统自带，该怎么查看呢？下面我们就来看看Mac系统内... 在MAC电脑上，可以使用以下方法来确定哪些软件是系统自带的：1.应用程序文件夹打开应用程序文件夹
阅读更多...
windows系统上如何进行maven安装和配置方式

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》：本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.
阅读更多...
Redis指南及6.2.x版本安装过程

Redis指南及6.2.x版本安装过程

《Redis指南及6.2.x版本安装过程》Redis是完全开源免费的,遵守BSD协议,是一个高性能(NOSQL)的key-value数据库,Redis是一个开源的使用ANSIC语言编写、支持网络、... 目录概述Redis特点Redis应用场景缓存缓存分布式会话分布式锁社交网络最新列表Redis各版本介绍旧
阅读更多...
Linux下安装Anaconda3全过程

Linux下安装Anaconda3全过程

《Linux下安装Anaconda3全过程》：本文主要介绍Linux下安装Anaconda3全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录简介环境下载安装一、找到下载好的文件名为Anaconda3-2018.12-linux-x86_64的安装包二、或者通
阅读更多...
MySQL 安装配置超完整教程

MySQL 安装配置超完整教程

《MySQL安装配置超完整教程》MySQL是一款广泛使用的开源关系型数据库管理系统（RDBMS）,由瑞典MySQLAB公司开发,目前属于Oracle公司旗下产品,：本文主要介绍MySQL安装配置... 目录一、mysql 简介二、下载 MySQL三、安装 MySQL四、配置环境变量五、配置 MySQL5.1
阅读更多...
Mybatis Plus JSqlParser解析sql语句及JSqlParser安装步骤

Mybatis Plus JSqlParser解析sql语句及JSqlParser安装步骤

《MybatisPlusJSqlParser解析sql语句及JSqlParser安装步骤》JSqlParser是一个用于解析SQL语句的Java库,它可以将SQL语句解析为一个Java对象树,允许... 目录【一】jsqlParser 是什么【二】JSqlParser 的安装步骤【三】使用场景【1】sql语
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2