Faster-RCNN/SSD/训练将数据集做成VOC2007格式

2024-06-11 04:32
文章标签 数据 训练 格式 faster 做成 ssd voc2007 rcnn

本文主要是介绍Faster-RCNN/SSD/训练将数据集做成VOC2007格式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

reference:
http://blog.csdn.net/sinat_30071459/article/details/50723212


0.文件夹名

首先，确定你的数据集所放的文件夹名字，例如我的叫logos。

（或者和voc2007一样的名字：VOC2007）

1.图片命名

虽然说图片名对训练没什么影响，但建议还是按VOC2007那样，如“000005.jpg”这种形式。至于图片格式，代码里是写的jpg，其他格式行不行我没有试过，我的训练集也是jpg格式的。
批量修改图片名字为VOC2007格式可以参考以下Matlab代码：
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. %%  
  2. %图片保存路径为：  
  3. %E:\image\car  
  4. %E:\image\person  
  5. %car和person是保存车和行人的文件夹  
  6. %这些文件夹还可以有多个，  
  7. %放在image文件夹里就行  
  8. %该代码的作用是将图片名字改成000123.jpg这种形式  
  9. %%  
  10. clc;  
  11. clear;  
  12.   
  13. maindir='E:\image\';  
  14. name_long=5; %图片名字的长度，如000123.jpg为6,最多9位,可修改  
  15. num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123  
  16.   
  17. subdir = dir(maindir);  
  18. n=1;  
  19.   
  20. for i = 1:length(subdir)  
  21.   if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')  
  22.      subsubdir = dir(strcat(maindir,subdir(i).name));  
  23.     for j=1:length(subsubdir)  
  24.          if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')  
  25.             img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);  
  26.             imshow(img);  
  27.             str=num2str(num_begin,'%09d');  
  28.             newname=strcat(str,'.jpg');  
  29.             newname=newname(end-(name_long+3):end);  
  30.             system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);  
  31.             num_begin=num_begin+1;  
  32.             fprintf('当前处理文件夹%s',subdir(i).name);  
  33.             fprintf('已经处理%d张图片\n',n);  
  34.             n=n+1;  
  35.            pause(0.1);%可以将暂停去掉  
  36.          end  
  37.     end  
  38.   end  
  39. end  
图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名，可以使用imwrite，如：

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹，原图片不变  
也可以使用Total Commander来批量重命名，非常方便，推荐使用这个工具。

2.打框

就是所谓的包围框，将图片的中所框的目标信息保存起来，我的是保存到txt里，如下：
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. 000002.jpg car 44 28 132 121  
  2. 000003.jpg car 54 19 243 178  
  3. 000004.jpg car 168 6 298 164  
前面是图片名，中间是目标类别，最后是目标的包围框坐标（左上角和右下角坐标）。

3.做xml

将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框，可参考代码： VOC2007xml（这份代码生成的xml训练Matlab版本的FRCNN可能会出错，最好用下面修改过的）
这份代码生成的xml第一行含有版本和编码信息：<?xml version="1.0" encoding="utf-8"?>，并且含有空格，用来训练Faster RCNN可能会有问题，如下：

（左边是VOC2007数据集中的xml，右边是上面代码生成的xml（第一行我删掉了），用Notepad打开就可以看到）

VOC2007中的xml前面是tab字符（左边那些箭头），上面代码生成的xml是空格（那些小黄点），所以，必须将空格转换成tab，下载修改过的代码： VOC2007xml_new
（下载VOC2007xml_new就可以了，不用下载VOC2007xml，不过如果xml用作其他用途还是可以的）
最终，得到的xml就和VOC一样。

4.保存xml到Annotations

新建一个文件夹，名字为Annotations，将xml文件全部放到该文件夹里。

5.将训练图片放到JPEGImages

新建一个文件夹，名字为JPEGImages，将所有的训练图片放到该文件夹里。

6.ImageSets\Main里的四个txt文件

新建文件夹，命名为ImageSets，在ImageSets里再新建文件夹，命名为Main。
我们可以通过xml名字(或图片名)，生成四个txt文件，即：

txt文件中的内容为：
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. 000005  
  2. 000027  
  3. 000028  
  4. 000033  
  5. 000042  
  6. 000045  
  7. 000048  
  8. 000058  

即图片名字（无后缀）,test.txt是测试集，train.txt是训练集，val.txt是验证集，trainval.txt是训练和验证集.VOC2007中，trainval大概是整个数据集的50%，test也大概是整个数据集的50%；train大概是trainval的50%，val大概是trainval的50%。可参考以下代码：
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. %%  
  2. %该代码根据已生成的xml，制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt  
  3. %trainval占总数据集的50%，test占总数据集的50%；train占trainval的50%，val占trainval的50%；  
  4. %上面所占百分比可根据自己的数据集修改，如果数据集比较少，test和val可少一些  
  5. %%  
  6. %注意修改下面四个值  
  7. xmlfilepath='E:\Annotations';  
  8. txtsavepath='E:\ImageSets\Main\';  
  9. trainval_percent=0.5;%trainval占整个数据集的百分比，剩下部分就是test所占百分比  
  10. train_percent=0.5;%train占trainval的百分比，剩下部分就是val所占百分比  
  11.   
  12.   
  13. %%  
  14. xmlfile=dir(xmlfilepath);  
  15. numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小  
  16.   
  17.   
  18. trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));  
  19. test=sort(setdiff(1:numOfxml,trainval));  
  20.   
  21.   
  22. trainvalsize=length(trainval);%trainval的大小  
  23. train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));  
  24. val=sort(setdiff(trainval,train));  
  25.   
  26.   
  27. ftrainval=fopen([txtsavepath 'trainval.txt'],'w');  
  28. ftest=fopen([txtsavepath 'test.txt'],'w');  
  29. ftrain=fopen([txtsavepath 'train.txt'],'w');  
  30. fval=fopen([txtsavepath 'val.txt'],'w');  
  31.   
  32.   
  33. for i=1:numOfxml  
  34.     if ismember(i,trainval)  
  35.         fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));  
  36.         if ismember(i,train)  
  37.             fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));  
  38.         else  
  39.             fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));  
  40.         end  
  41.     else  
  42.         fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));  
  43.     end  
  44. end  
  45. fclose(ftrainval);  
  46. fclose(ftrain);  
  47. fclose(fval);  
  48. fclose(ftest);  

这四个txt放在ImageSets\Main中。

这样，数据集就基本做好了。然后新建文件夹，名字为logos(第0步确定的名字),将上面三个文件夹放到这里，即logos文件夹里有三个文件夹：


将logos文件夹拷贝到datasets\VOCdevkit2007里就可以了。
（或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages，免去一些训练的修改）

Matlab版本faster-rcnn训练过程看 http://blog.csdn.net/sinat_30071459/article/details/50546891；
python版本faster-rcnn训练过程看 http://blog.csdn.net/sinat_30071459/article/details/51332084。

这篇关于Faster-RCNN/SSD/训练将数据集做成VOC2007格式的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1050204。

相关文章

MyBatis-Plus通用中等、大量数据分批查询和处理方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口
阅读更多...
SQL中如何添加数据(常见方法及示例)

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中，有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I
阅读更多...
Python使用vllm处理多模态数据的预处理技巧

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
MySQL 删除数据详解(最新整理)

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》：本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法： 示例：2.TRUNCATE语句✅ 基本语
阅读更多...
MyBatisPlus如何优化千万级数据的CRUD

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查
阅读更多...
python实现对数据公钥加密与私钥解密

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分，使用python生成公钥与私钥，然后保存在两个文
阅读更多...
mysql中的数据目录用法及说明

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》：本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后，在安装目录下会有一个data目录，我们创建的数据库、创建的表、插入的
阅读更多...
Mysql常见的SQL语句格式及实用技巧

Mysql常见的SQL语句格式及实用技巧

《Mysql常见的SQL语句格式及实用技巧》本文系统梳理MySQL常见SQL语句格式,涵盖数据库与表的创建、删除、修改、查询操作,以及记录增删改查和多表关联等高级查询,同时提供索引优化、事务处理、临时... 目录一、常用语法汇总二、示例1.数据库操作2.表操作3.记录操作 4.高级查询三、实用技巧一、常用语
阅读更多...
Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》：本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面，查看左下角从左
阅读更多...
SpringBoot中4种数据水平分片策略

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2