caffe专题二图像生成lmdb文件-sh实现

2023-10-20 00:48

本文主要是介绍caffe专题二图像生成lmdb文件-sh实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转自:http://www.cnblogs.com/darkknightzh/p/5909121.html

参考网址:

http://www.cnblogs.com/wangxiaocvpr/p/5096265.html

可以根据caffe-master\examples\imagenet \readme.md进行理解。

1 生成LmDB格式文件

caffe中通过图像生成lmdb格式文件的程序为examples/imagenet/create_imagenet.sh。该文件调用build/tools/convert_imageset(对应的源码为tools/convert_imageset.cpp)。

为了不改变原来的程序,在examples内新建testCreateLmDB文件夹。新建create_imagenet.sh,并输入:


#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirsset -eEXAMPLE=examples/testCreateLmDB
DATA=/home/xxx/database/CASIA
TOOLS=build/toolsTRAIN_DATA_ROOT=/home/xxx/database/CASIA/
VAL_DATA_ROOT=/home/xxx/database/CASIA/# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
RESIZE=true
if $RESIZE; thenRESIZE_HEIGHT=128RESIZE_WIDTH=128
elseRESIZE_HEIGHT=0RESIZE_WIDTH=0
fiif [ ! -d "$TRAIN_DATA_ROOT" ]; thenecho "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \"where the ImageNet training data is stored."exit 1
fiif [ ! -d "$VAL_DATA_ROOT" ]; thenecho "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \"where the ImageNet validation data is stored."exit 1
fiecho "Creating train lmdb..."GLOG_logtostderr=1 $TOOLS/convert_imageset \--resize_height=$RESIZE_HEIGHT \--resize_width=$RESIZE_WIDTH \--shuffle \$TRAIN_DATA_ROOT \$DATA/train_all.txt \$EXAMPLE/face_train_lmdbecho "Creating val lmdb..."#GLOG_logtostderr=1 $TOOLS/convert_imageset \#   --resize_height=$RESIZE_HEIGHT \#   --resize_width=$RESIZE_WIDTH \
#    --shuffle \
#    $VAL_DATA_ROOT \
#    $DATA/val.txt \#   $EXAMPLE/face_val_lmdbecho "Done."

之后,在caffe根目录打开终端,并输入sh examples/testCreateLmDB/create_imagenet.sh

说明:

1) 程序第6行EXAMPLE为当前文件在caffe目录的相对路径。

2) 程序第7行DATA为train_all.txt所在的文件夹(如果train_all.txt就在TRAIN_DATA_ROOT文件夹内,则DATA和TRAIN_DATA_ROOT一样),如下图:

其中第一列为数据库中所有文件的文件名相对于数据库目录的位置,第二列为图像类别。

3) 第10行TRAIN_DATA_ROOT为训练数据的绝对路径。

4) 第11行VAL_DATA_ROOT为验证数据的绝对路径。

5) 程序第15行RESIZE为是否对图像进行缩放。如果直接读图像的话,可以使用

new_height: 128

new_width: 128

进行缩放。但是使用lmdb的话,貌似没办法在prototxt里面设置缩放,只能在创建lmdb数据库时,进行缩放。缩放时,更改程序17、18行的RESIZE_HEIGHT和RESIZE_WIDTH。经测试,如果不缩放的话,生成数据库大小为28.2G,缩放后,生成数据库大小为21.2G(此处和图像具体大小有关,给出数据只为了说明缩放应该在哪里设置。)

6. 程序第46行EXAMPLE/face_train_lmdb为生成的LmDB文件所在的路径。注意:EXAMPLE/oriface_train_lmdb文件夹最好为空,或者删除该文件夹,否则可能会提示:


2 生成mean.binaryproto文件

为了不更改源文件,在testCreateLmDB内新建make_imagenet_mean.sh,并输入:

#!/usr/bin/env sh
# Compute the mean image from the imagenet training lmdb
# N.B. this is available in data/ilsvrc12EXAMPLE=examples/testCreateLmDB
DATA=examples/testCreateLmDB
TOOLS=build/tools$TOOLS/compute_image_mean $EXAMPLE/face_train_lmdb \$DATA/face_train_mean.binaryprotoecho "Done."

说明:

1) 程序第3行EXAMPLE为当前程序所在目录(实际上为face_train_lmdb库文件所在目录。见第9行)。

2) 程序第4行DATA为需要生成的face_train_mean.binaryproto所在目录(见程序第10行)。

3) 生成的face_train_mean.binaryproto文件大小为192KB。




这篇关于caffe专题二图像生成lmdb文件-sh实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243504

相关文章

MyBatis-Plus逻辑删除实现过程

《MyBatis-Plus逻辑删除实现过程》本文介绍了MyBatis-Plus如何实现逻辑删除功能,包括自动填充字段、配置与实现步骤、常见应用场景,并展示了如何使用remove方法进行逻辑删除,逻辑删... 目录1. 逻辑删除的必要性编程1.1 逻辑删除的定义1.2 逻辑删php除的优点1.3 适用场景2.

C#借助Spire.XLS for .NET实现在Excel中添加文档属性

《C#借助Spire.XLSfor.NET实现在Excel中添加文档属性》在日常的数据处理和项目管理中,Excel文档扮演着举足轻重的角色,本文将深入探讨如何在C#中借助强大的第三方库Spire.... 目录为什么需要程序化添加Excel文档属性使用Spire.XLS for .NET库实现文档属性管理Sp

Python+FFmpeg实现视频自动化处理的完整指南

《Python+FFmpeg实现视频自动化处理的完整指南》本文总结了一套在Python中使用subprocess.run调用FFmpeg进行视频自动化处理的解决方案,涵盖了跨平台硬件加速、中间素材处理... 目录一、 跨平台硬件加速:统一接口设计1. 核心映射逻辑2. python 实现代码二、 中间素材处

Java数组动态扩容的实现示例

《Java数组动态扩容的实现示例》本文主要介绍了Java数组动态扩容的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1 问题2 方法3 结语1 问题实现动态的给数组添加元素效果,实现对数组扩容,原始数组使用静态分配

Python实现快速扫描目标主机的开放端口和服务

《Python实现快速扫描目标主机的开放端口和服务》这篇文章主要为大家详细介绍了如何使用Python编写一个功能强大的端口扫描器脚本,实现快速扫描目标主机的开放端口和服务,感兴趣的小伙伴可以了解下... 目录功能介绍场景应用1. 网络安全审计2. 系统管理维护3. 网络故障排查4. 合规性检查报错处理1.

Python轻松实现Word到Markdown的转换

《Python轻松实现Word到Markdown的转换》在文档管理、内容发布等场景中,将Word转换为Markdown格式是常见需求,本文将介绍如何使用FreeSpire.DocforPython实现... 目录一、工具简介二、核心转换实现1. 基础单文件转换2. 批量转换Word文件三、工具特性分析优点局

Springboot3统一返回类设计全过程(从问题到实现)

《Springboot3统一返回类设计全过程(从问题到实现)》文章介绍了如何在SpringBoot3中设计一个统一返回类,以实现前后端接口返回格式的一致性,该类包含状态码、描述信息、业务数据和时间戳,... 目录Spring Boot 3 统一返回类设计:从问题到实现一、核心需求:统一返回类要解决什么问题?

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位

Java使用Spire.Barcode for Java实现条形码生成与识别

《Java使用Spire.BarcodeforJava实现条形码生成与识别》在现代商业和技术领域,条形码无处不在,本教程将引导您深入了解如何在您的Java项目中利用Spire.Barcodefor... 目录1. Spire.Barcode for Java 简介与环境配置2. 使用 Spire.Barco

Java利用Spire.Doc for Java实现在模板的基础上创建Word文档

《Java利用Spire.DocforJava实现在模板的基础上创建Word文档》在日常开发中,我们经常需要根据特定数据动态生成Word文档,本文将深入探讨如何利用强大的Java库Spire.Do... 目录1. Spire.Doc for Java 库介绍与安装特点与优势Maven 依赖配置2. 通过替换