voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹

本文主要是介绍voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:

在做深度学习的时候,经常需要收集样本,有些样本我们可以从开源数据库中提取,省去自己标注的麻烦,下面介绍几种提取的方法,根据自己需要拿去用。

1. 将图片按类别保存在不同文件夹,文件名不变。

执行完得到如下结果,只是对图片进行的分类,没有对xml进行分类。
对xml和图片都进行分类的代码参考本博客第3部分介绍。
在这里插入图片描述
在这里插入图片描述

voc_class-pic.py

import xml.dom.minidom
import os
import cv2################
FindPath = './VOC2012/Annotations/'
FileNames = os.listdir(FindPath)
pic_path = './VOC2012/JPEGImages/'
save_path_pic = './VOC2012-class/'
Resnet_height = 224
Rsenet_width = 224
start_name = 0
one_location_list = []
all_location_list = []
all_name_list = []
def get_all_location(now_box_root):for box_i in range(len(now_box_root)):location_xmin = now_box[box_i].getElementsByTagName('xmin')location_xmax = now_box[box_i].getElementsByTagName('xmax')location_ymin = now_box[box_i].getElementsByTagName('ymin')location_ymax = now_box[box_i].getElementsByTagName('ymax')location_xmin = location_xmin[0].firstChild.datalocation_xmax = location_xmax[0].firstChild.datalocation_ymin = location_ymin[0].firstChild.datalocation_ymax = location_ymax[0].firstChild.datareturn location_xmin, location_xmax , location_ymin , location_ymaxdef get_path(target_save_path):target_path = save_path_pic + target_save_path + '/'if os.path.exists(target_path) is False:os.makedirs(target_path)print('target_path = ',target_path)return target_pathdef crop_pic(start_name , picName , img_name ,location_size):img = cv2.imread(pic_path + picName + '.jpg')for img_i in range(len(img_name)):print('1 = ',location_size[img_i][0] ,' ',location_size[img_i][1] ,' ' ,location_size[img_i][2], ' ',location_size[img_i][3])image = img[ location_size[img_i][2]:location_size[img_i][3] , location_size[img_i][0]:location_size[img_i][1] ]width = location_size[img_i][1] - location_size[img_i][0]height = location_size[img_i][3] - location_size[img_i][2]target_width = (Resnet_height * width) // height#image = cv2.resize(image , (Resnet_height , Resnet_height) ,interpolation=cv2.INTER_CUBIC) #resizecrop_path = get_path(img_name[img_i])print('crop_path = ',crop_path)######  save crop pic#cv2.imwrite(crop_path + picName + '.jpg',image)######  save original piccv2.imwrite(crop_path + picName + '.jpg',img)for file_name in FileNames:dom = xml.dom.minidom.parse(os.path.join(FindPath, file_name))# print('filename = ',file_name)get_file_to_pic_name,err_xml = os.path.splitext(file_name)print('---------------------------')print('before = ',get_file_to_pic_name)root = dom.documentElementobject_root = root.getElementsByTagName('object')length = len(object_root)for root_i in range(length):now_name = object_root[root_i].getElementsByTagName('name')now_box = object_root[root_i].getElementsByTagName('bndbox')for get_name_nums in range(len(now_name)):#######    get nameget_object_name = now_name[get_name_nums].firstChild.dataprint('get_name = ',get_object_name)all_name_list.append(get_object_name)#######  get locationget_xmin , get_xmax , get_ymin , get_ymax = get_all_location(now_box)one_location_list.append(int(get_xmin))one_location_list.append(int(get_xmax))one_location_list.append(int(get_ymin))one_location_list.append(int(get_ymax))all_location_list.append(one_location_list)one_location_list = []# print('all = ',all_location_list)if len(all_name_list) != len(all_location_list):print('Error file is ',file_name,',shut down!')break# print('len = ',len(all_name_list),'     ',len(all_location_list))############ crop piccrop_pic(start_name , get_file_to_pic_name,all_name_list , all_location_list)start_name += 1all_name_list=[]all_location_list=[]

2. 将图片剪裁后,按类别保存在不同的文件夹

执行完之后的结果如下,图片是剪裁后的:
在这里插入图片描述
在这里插入图片描述
代码和上面那段就一句不同,放在这里直接copy去用。
voc_crop.py

import xml.dom.minidom
import os
import cv2################
FindPath = './VOC2012/Annotations/'
FileNames = os.listdir(FindPath)
pic_path = './VOC2012/JPEGImages/'
save_path_pic = './VOC2012-crop/'
Resnet_height = 224
Rsenet_width = 224
start_name = 0
one_location_list = []
all_location_list = []
all_name_list = []
def get_all_location(now_box_root):for box_i in range(len(now_box_root)):location_xmin = now_box[box_i].getElementsByTagName('xmin')location_xmax = now_box[box_i].getElementsByTagName('xmax')location_ymin = now_box[box_i].getElementsByTagName('ymin')location_ymax = now_box[box_i].getElementsByTagName('ymax')location_xmin = location_xmin[0].firstChild.datalocation_xmax = location_xmax[0].firstChild.datalocation_ymin = location_ymin[0].firstChild.datalocation_ymax = location_ymax[0].firstChild.datareturn location_xmin, location_xmax , location_ymin , location_ymaxdef get_path(target_save_path):target_path = save_path_pic + target_save_path + '/'if os.path.exists(target_path) is False:os.makedirs(target_path)print('target_path = ',target_path)return target_pathdef crop_pic(start_name , picName , img_name ,location_size):img = cv2.imread(pic_path + picName + '.jpg')for img_i in range(len(img_name)):print('1 = ',location_size[img_i][0] ,' ',location_size[img_i][1] ,' ' ,location_size[img_i][2], ' ',location_size[img_i][3])image = img[ location_size[img_i][2]:location_size[img_i][3] , location_size[img_i][0]:location_size[img_i][1] ]width = location_size[img_i][1] - location_size[img_i][0]height = location_size[img_i][3] - location_size[img_i][2]target_width = (Resnet_height * width) // height#image = cv2.resize(image , (Resnet_height , Resnet_height) ,interpolation=cv2.INTER_CUBIC) #resizecrop_path = get_path(img_name[img_i])print('crop_path = ',crop_path)######  save crop piccv2.imwrite(crop_path + picName + '.jpg',image)######  save original pic#cv2.imwrite(crop_path + picName + '.jpg',img)for file_name in FileNames:dom = xml.dom.minidom.parse(os.path.join(FindPath, file_name))# print('filename = ',file_name)get_file_to_pic_name,err_xml = os.path.splitext(file_name)print('---------------------------')print('before = ',get_file_to_pic_name)root = dom.documentElementobject_root = root.getElementsByTagName('object')length = len(object_root)for root_i in range(length):now_name = object_root[root_i].getElementsByTagName('name')now_box = object_root[root_i].getElementsByTagName('bndbox')for get_name_nums in range(len(now_name)):#######    get nameget_object_name = now_name[get_name_nums].firstChild.dataprint('get_name = ',get_object_name)all_name_list.append(get_object_name)#######  get locationget_xmin , get_xmax , get_ymin , get_ymax = get_all_location(now_box)one_location_list.append(int(get_xmin))one_location_list.append(int(get_xmax))one_location_list.append(int(get_ymin))one_location_list.append(int(get_ymax))all_location_list.append(one_location_list)one_location_list = []# print('all = ',all_location_list)if len(all_name_list) != len(all_location_list):print('Error file is ',file_name,',shut down!')break# print('len = ',len(all_name_list),'     ',len(all_location_list))############ crop piccrop_pic(start_name , get_file_to_pic_name,all_name_list , all_location_list)start_name += 1all_name_list=[]all_location_list=[]

3. 将voc数据集按类别保存图片,按类别保存xml标注文件。

执行之后,会将person相关的图片和xml都提取出来。
在这里插入图片描述
每次只能分出一种类别,例如“person”类别提取代码如下,要提取其他类别,需要修改代码,需要修改的地方我再下面注释了########### 1 change,########### 2 change,########### 3 change,另外路径根据自己的需要修改。
voc-class-pic-xml.py

import os
import os.path
import shutilfileDir_ann = './VOC2012/Annotations/'
fileDir_img = './VOC2012/JPEGImages/'########### 1 change
saveDir_img = './VOC2012-class-xml/person/' if not os.path.exists(saveDir_img):os.mkdir(saveDir_img)names = locals()for files in os.walk(fileDir_ann):for file in files[2]:print file + "-->start!"########### 2 changesaveDir_ann = './VOC2012-class-xml/person/'if not os.path.exists(saveDir_ann):os.mkdir(saveDir_ann)fp = open(fileDir_ann + file)      saveDir_ann = saveDir_ann + filefp_w = open(saveDir_ann, 'w')classes = ['aeroplane','bicycle','bird','boat','bottle','bus','car','cat','chair','cow','diningtable',\'dog','horse','motorbike','pottedplant','sheep','sofa','train','tvmonitor','person']lines = fp.readlines()ind_start = []ind_end = []lines_id_start = lines[:]lines_id_end = lines[:]while "\t<object>\n" in lines_id_start:a = lines_id_start.index("\t<object>\n")ind_start.append(a)lines_id_start[a] = "delete"while "\t</object>\n" in lines_id_end:b = lines_id_end.index("\t</object>\n")ind_end.append(b)lines_id_end[b] = "delete"for k in range(0,len(ind_start)):for j in range(0,len(classes)):if classes[j] in lines[ind_start[k]+1]:a = ind_start[k]names['block%d'%k] = lines[a:ind_end[k]+1]break########### 3 changeclasses1 = '\t\t<name>person</name>\n'string_start = lines[0:ind_start[0]]string_end = lines[ind_end[-1] + 1:]a = 0for k in range(0,len(ind_start)):if classes1 in names['block%d'%k]:a += 1string_start += names['block%d'%k]string_start += string_endfor c in range(0,len(string_start)):fp_w.write(string_start[c])fp_w.close()if a == 0:os.remove(saveDir_ann)else:name_img = fileDir_img + os.path.splitext(file)[0] + ".jpg"shutil.copy(name_img,saveDir_img)fp.close()

参考资料:

https://www.cnblogs.com/tyty-Somnuspoppy/p/10250486.html
https://download.csdn.net/download/u014513323/10823680

这篇关于voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1057065

相关文章

MyBatis常用XML语法详解

《MyBatis常用XML语法详解》文章介绍了MyBatis常用XML语法,包括结果映射、查询语句、插入语句、更新语句、删除语句、动态SQL标签以及ehcache.xml文件的使用,感兴趣的朋友跟随小... 目录1、定义结果映射2、查询语句3、插入语句4、更新语句5、删除语句6、动态 SQL 标签7、ehc

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

uni-app小程序项目中实现前端图片压缩实现方式(附详细代码)

《uni-app小程序项目中实现前端图片压缩实现方式(附详细代码)》在uni-app开发中,文件上传和图片处理是很常见的需求,但也经常会遇到各种问题,下面:本文主要介绍uni-app小程序项目中实... 目录方式一:使用<canvas>实现图片压缩(推荐,兼容性好)示例代码(小程序平台):方式二:使用uni

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

Android实现图片浏览功能的示例详解(附带源码)

《Android实现图片浏览功能的示例详解(附带源码)》在许多应用中,都需要展示图片并支持用户进行浏览,本文主要为大家介绍了如何通过Android实现图片浏览功能,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、项目背景详细介绍二、项目需求详细介绍三、相关技术详细介绍四、实现思路详细介绍五、完整实现代码

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建