【3D目标检测】MMdetection3d——nuScenes数据集训练BEVFusion

2024-08-31 16:12
文章标签 数据 训练 目标 检测 3d nuscenes mmdetection3d bevfusion

本文主要是介绍【3D目标检测】MMdetection3d——nuScenes数据集训练BEVFusion，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

引言

MMdetection3d：【3D目标检测】环境搭建（OpenPCDet、MMdetection3d）

MMdetection3d源码地址：https://github.com/open-mmlab/mmdetection3d/tree/main?tab=readme-ov-file

IS-Fusion源码地址：https://github.com/yinjunbo/IS-Fusion

1 MMdetection3d环境搭建

官网教程链接🔗：https://mmdetection3d.readthedocs.io/en/latest/get_started.html
先准备好MMdetection3d的环境：【3D目标检测】环境搭建（OpenPCDet、MMdetection3d）
**直接抄作业安装如下：**

# 0 安装依赖
sudo apt install wget git g++ cmake ffmpeg libsm6 libxext6# 1 创建虚拟环境
conda create -n mmdet3d python=3.8# 2 激活虚拟环境
conda activate mmdet3d# 3 安装torch
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html# 4 配置安装mmdetection3d
pip install openmim
# 下载的是mmdet3d是v1.3.0版本
git clone https://github.com/open-mmlab/mmdetection3d.git -b v1.3.0
cd mmdetection3d
# 使用mim可以自动配置mmcv,mmdet,mmengine
mim install -v -e .
# "-v" 指详细说明，或更多的输出
# "-e" 表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效，从而无需重新安装。# 5 安装 cumm-cuxxx spconv-cuxxx
pip install cumm-cu113
pip install spconv-cu113# 6 配置 mmdet3d中的BEVFusion
python projects/BEVFusion/setup.py develop
# 或者运行下面2句
# cd projects/BEVFusion
# pip install -v -e .# 7 安装及查看相关库的版本
## 7.1 openlab相关库安装
mim install mmcv==2.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmdet==3.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmdet3d==1.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmengine==0.10.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
## 7.2 openlab相关库版本
mim list
# 终端显示如下
mmcv       2.1.0      https://github.com/open-mmlab/mmcv
mmdet      3.2.0      https://github.com/open-mmlab/mmdetection
mmdet3d    1.3.0      /root/share/code/mmdetection3d
mmengine   0.10.1     https://github.com/open-mmlab/mmengine## 7.2 torch相关库版本
pip list | grep torch
# 终端显示如下
torch                     1.10.0+cu113
torchaudio                0.10.0+rocm4.1
torchvision               0.11.0+cu113

2 nuScenes数据集准备

数据集下载参考🔗【3D目标检测】OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L
可以使用软连接将数据集链接到mmdetection3d/data文件夹下

ln -s /opt/data/DATASETS/nuscenes /opt/data/CNN_3D/mmdetection3d/data

├── data
│   ├── nuscenes
│   │   │── v1.0-trainval (or v1.0-mini if you use mini)
│   │   │   │── samples
│   │   │   │── sweeps
│   │   │   │── maps
│   │   │   │── v1.0-trainval

重要！！！！！！
如果是nuscenes-mini数据集,需要修改文件
mmdet3d/datasets/nuscenes_dataset.py文件中的v1.0-trainval改成v1.0-mini即可
nuscenes-full无需修改，如下图所示：
在这里插入图片描述
生成pkl格式的数据集

cd ./mmdetection3d/tools
python create_data.py nuscenes --root-path ./data/nuscenes/v1.0-mini --out-dir ./data/nuscenes/v1.0-mini --extra-tag nuscenes --version v1.0-mini

或者直接修改create_data.py对应的输入参数，如下图所示：
在这里插入图片描述
注意：修改./mmdetection3d/tools/dataset_converters/update_infos_to_v2.py文件
dataroot = out_dir
在这里插入图片描述
否则会报错如下：
在这里插入图片描述
或者直接在终端运行：

python create_data.py nuscenes

成功生成标准数据显示如下：
在这里插入图片描述
运行完后 data/nuscenes目录如下所示：

nuscenes├── v1.0-mini├── maps├── nuscenes_dbinfos_train.pkl   # 新生成的文件├── nuscenes_gt_database         # 新生成的目录├── nuscenes_infos_train.pkl     # 新生成的文件├── nuscenes_infos_val.pkl       # 新生成的文件├── samples├── sweeps└── v1.0-mini

3 BEVFusion

3.1 训练

复制一份配置文件projects/BEVFusion/configs/bevfusion_lidar_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d.py重命名为bevfusion_lidar.py

1. 只训练lidar数据集

# 配置文件中的max_epochs=2, batch_size=1, num_workers=0
# 上面三个参数按需更改，前期测试环境是否正常,可以按上面数字设置
bash tools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar.py 1
'''
正常训练时，终端会打印信息如下：
...
12/13 17:56:37 - mmengine - INFO - Epoch(train) [1][150/408]  lr: 1.0551e-04  eta: 0:38:26  time: 0.9984  
data_time: 0.0137  memory: 21795  grad_norm: 16.1443  loss: 12.3859  loss_heatmap: 2.6139  
layer_-1_loss_cls: 3.9985  layer_-1_loss_bbox: 5.7735  matched_ious: 0.0343
'''

配置如图：
在这里插入图片描述
成功训练如图：
在这里插入图片描述
2. lidar和相机数据共同训练

## 2.1 预训练权重
# 因为图像特征提取层配置的swin-transform需要下载预训练权重, 如果网络出问题, 可以加上代码下载即可
# 在bevfusion_lidar-cam.py配置文件全局搜索https://github.com,并在该地址前面加上https://mirror.ghproxy.com/即可## 2.2 训练
# bevfusion_lidar-cam.py配置文件是继承bevfusion_lidar.py所以batch_size,num_workers需要在bevfusion_lidar.py中修改### 2.2.1分布式训练
bash tools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar-cam.py 1### 2.2.2 单步训练 加载数据时比较慢，不是卡住了,只要报错和卡住就等着
python tools/train.py projects/BEVFusion/configs/bevfusion_lidar-cam.py

配置如下图：
在这里插入图片描述
训练成功如图：
在这里插入图片描述

训练完成结果(权重，配置文件，log，vis_data)后会保存在work_dirs目录下
官方提供了训练好的权重, 参考BEVFusion model
图像预训练权重：Swin pre-trained model

3.2 测试

bash tools/dist_test.sh work_dirs/bevfusion_lidar-cam/bevfusion_lidar-cam.py work_dirs/bevfusion_lidar-cam/epoch_2.pth 1

3.3 可视化

python projects/BEVFusion/demo/multi_modality_demo.py demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__LIDAR_TOP__1532402927647951.pcd.bin demo/data/nuscenes/ demo/data/nuscenes/n015-2018-07-24-11-22-45+0800.pkl  work_dirs/bevfusion_lidar-cam/bevfusion_lidar-cam.py work_dirs/bevfusion_lidar-cam/epoch_6.pth --cam-type all --score-thr 0.2 --show

可视化结果如下：
在这里插入图片描述
在这里插入图片描述

这篇关于【3D目标检测】MMdetection3d——nuScenes数据集训练BEVFusion的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1124372。

相关文章

Linux下利用select实现串口数据读取过程

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码（使用select实现）代码解释总结在 linux 系统里，我们可以借助 select、
阅读更多...
C#自动化实现检测并删除PDF文件中的空白页面

C#自动化实现检测并删除PDF文件中的空白页面

《C#自动化实现检测并删除PDF文件中的空白页面》PDF文档在日常工作和生活中扮演着重要的角色,本文将深入探讨如何使用C#编程语言,结合强大的PDF处理库,自动化地检测并删除PDF文件中的空白页面,感... 目录理解PDF空白页的定义与挑战引入Spire.PDF for .NET库核心实现：检测并删除空白页
阅读更多...
C#使用iText获取PDF的trailer数据的代码示例

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程
阅读更多...
Pandas处理缺失数据的方式汇总

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN：缺失的数值数据Panda
阅读更多...
C++中处理文本数据char与string的终极对比指南

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,：本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别
阅读更多...
python库pydantic数据验证和设置管理库的用途

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途：Field数值验证参数总结pydantic 是一个让你能够 confidentl
阅读更多...
JAVA实现亿级千万级数据顺序导出的示例代码

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提：主要考虑控制内存占用空间，避免出现同时导出，导致主程序OOM问题。实现思路：A.启用线程池
阅读更多...
SpringBoot分段处理List集合多线程批量插入数据方式

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案：通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建
阅读更多...
PHP轻松处理千万行数据的方法详解

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理：为什么必不可少生成器：内存高效的迭代方式流量控制：避免系统过载一次性
阅读更多...
C#实现千万数据秒级导入的代码

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2