Faster-RCNN/SSD/训练将数据集做成VOC2007格式

2024-06-11 04:32

本文主要是介绍Faster-RCNN/SSD/训练将数据集做成VOC2007格式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

reference:
http://blog.csdn.net/sinat_30071459/article/details/50723212


0.文件夹名

首先,确定你的数据集所放的文件夹名字,例如我的叫logos。

(或者和voc2007一样的名字:VOC2007)

1.图片命名

虽然说图片名对训练没什么影响,但建议还是按VOC2007那样,如“000005.jpg”这种形式。至于图片格式,代码里是写的jpg,其他格式行不行我没有试过,我的训练集也是jpg格式的。
批量修改图片名字为VOC2007格式可以参考以下Matlab代码:
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. %%  
  2. %图片保存路径为:  
  3. %E:\image\car  
  4. %E:\image\person  
  5. %car和person是保存车和行人的文件夹  
  6. %这些文件夹还可以有多个,  
  7. %放在image文件夹里就行  
  8. %该代码的作用是将图片名字改成000123.jpg这种形式  
  9. %%  
  10. clc;  
  11. clear;  
  12.   
  13. maindir='E:\image\';  
  14. name_long=5; %图片名字的长度,如000123.jpg为6,最多9位,可修改  
  15. num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123  
  16.   
  17. subdir = dir(maindir);  
  18. n=1;  
  19.   
  20. for i = 1:length(subdir)  
  21.   if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')  
  22.      subsubdir = dir(strcat(maindir,subdir(i).name));  
  23.     for j=1:length(subsubdir)  
  24.          if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')  
  25.             img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);  
  26.             imshow(img);  
  27.             str=num2str(num_begin,'%09d');  
  28.             newname=strcat(str,'.jpg');  
  29.             newname=newname(end-(name_long+3):end);  
  30.             system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);  
  31.             num_begin=num_begin+1;  
  32.             fprintf('当前处理文件夹%s',subdir(i).name);  
  33.             fprintf('已经处理%d张图片\n',n);  
  34.             n=n+1;  
  35.            pause(0.1);%可以将暂停去掉  
  36.          end  
  37.     end  
  38.   end  
  39. end  
图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名,可以使用imwrite,如:

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹,原图片不变  
也可以使用Total Commander来批量重命名,非常方便,推荐使用这个工具。

2.打框

就是所谓的包围框,将图片的中所框的目标信息保存起来,我的是保存到txt里,如下:
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. 000002.jpg car 44 28 132 121  
  2. 000003.jpg car 54 19 243 178  
  3. 000004.jpg car 168 6 298 164  
前面是图片名,中间是目标类别,最后是目标的包围框坐标(左上角和右下角坐标)。

3.做xml

将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框,可参考代码: VOC2007xml(这份代码生成的xml训练Matlab版本的FRCNN可能会出错,最好用下面修改过的)
这份代码生成的xml第一行含有版本和编码信息:<?xml version="1.0" encoding="utf-8"?>,并且含有空格,用来训练Faster RCNN可能会有问题,如下:

(左边是VOC2007数据集中的xml,右边是上面代码生成的xml(第一行我删掉了),用Notepad打开就可以看到)

VOC2007中的xml前面是tab字符(左边那些箭头),上面代码生成的xml是空格(那些小黄点),所以,必须将空格转换成tab,下载修改过的代码: VOC2007xml_new
(下载VOC2007xml_new就可以了,不用下载VOC2007xml,不过如果xml用作其他用途还是可以的)
最终,得到的xml就和VOC一样。

4.保存xml到Annotations

新建一个文件夹,名字为Annotations,将xml文件全部放到该文件夹里。

5.将训练图片放到JPEGImages

新建一个文件夹,名字为JPEGImages,将所有的训练图片放到该文件夹里。

6.ImageSets\Main里的四个txt文件

新建文件夹,命名为ImageSets,在ImageSets里再新建文件夹,命名为Main。
我们可以通过xml名字(或图片名),生成四个txt文件,即:

txt文件中的内容为:
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. 000005  
  2. 000027  
  3. 000028  
  4. 000033  
  5. 000042  
  6. 000045  
  7. 000048  
  8. 000058  

即图片名字(无后缀),test.txt是测试集,train.txt是训练集,val.txt是验证集,trainval.txt是训练和验证集.VOC2007中,trainval大概是整个数据集的50%,test也大概是整个数据集的50%;train大概是trainval的50%,val大概是trainval的50%。可参考以下代码:
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. %%  
  2. %该代码根据已生成的xml,制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt  
  3. %trainval占总数据集的50%,test占总数据集的50%;train占trainval的50%,val占trainval的50%;  
  4. %上面所占百分比可根据自己的数据集修改,如果数据集比较少,test和val可少一些  
  5. %%  
  6. %注意修改下面四个值  
  7. xmlfilepath='E:\Annotations';  
  8. txtsavepath='E:\ImageSets\Main\';  
  9. trainval_percent=0.5;%trainval占整个数据集的百分比,剩下部分就是test所占百分比  
  10. train_percent=0.5;%train占trainval的百分比,剩下部分就是val所占百分比  
  11.   
  12.   
  13. %%  
  14. xmlfile=dir(xmlfilepath);  
  15. numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小  
  16.   
  17.   
  18. trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));  
  19. test=sort(setdiff(1:numOfxml,trainval));  
  20.   
  21.   
  22. trainvalsize=length(trainval);%trainval的大小  
  23. train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));  
  24. val=sort(setdiff(trainval,train));  
  25.   
  26.   
  27. ftrainval=fopen([txtsavepath 'trainval.txt'],'w');  
  28. ftest=fopen([txtsavepath 'test.txt'],'w');  
  29. ftrain=fopen([txtsavepath 'train.txt'],'w');  
  30. fval=fopen([txtsavepath 'val.txt'],'w');  
  31.   
  32.   
  33. for i=1:numOfxml  
  34.     if ismember(i,trainval)  
  35.         fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));  
  36.         if ismember(i,train)  
  37.             fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));  
  38.         else  
  39.             fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));  
  40.         end  
  41.     else  
  42.         fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));  
  43.     end  
  44. end  
  45. fclose(ftrainval);  
  46. fclose(ftrain);  
  47. fclose(fval);  
  48. fclose(ftest);  

这四个txt放在ImageSets\Main中。

这样,数据集就基本做好了。然后新建文件夹,名字为logos(第0步确定的名字),将上面三个文件夹放到这里,即logos文件夹里有三个文件夹:


将logos文件夹拷贝到datasets\VOCdevkit2007里就可以了。
(或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages,免去一些训练的修改)

Matlab版本faster-rcnn训练过程看 http://blog.csdn.net/sinat_30071459/article/details/50546891;
python版本faster-rcnn训练过程看 http://blog.csdn.net/sinat_30071459/article/details/51332084。

这篇关于Faster-RCNN/SSD/训练将数据集做成VOC2007格式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1050204

相关文章

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结