【halcon深度学习之那些封装好的库函数】preprocess_dl_dataset

2023-12-21 19:20

本文主要是介绍【halcon深度学习之那些封装好的库函数】preprocess_dl_dataset,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

函数分析

preprocess_dl_dataset 是一个用于预处理深度学习数据集的程序。以下是该程序的详细介绍:

参数:

  • DLDataset (输入): 要进行预处理的 DLDataset 字典。

  • DataDirectory (输入): 存储数据的路径。默认值是 ‘dl_dataset’。

  • DLPreprocessParam (输入): 包含预处理参数的字典。

  • GenParam (输入): 具有通用参数的字典。默认值为空字典。

  • DLDatasetFileName (输出): 写入的 DLDataset 字典的文件路径。

详细描述:

该程序根据包含在字典 DLPreprocessParam 中的参数对字典 DLDataset 中的样本进行预处理。预处理的结果包括修改后的 DLDataset 字典以及每个样本的预处理后字典 DLSample。这些字典将被写入到指定的 DataDirectory 中,同时该目录的名称和路径将被返回到字符串 DLDatasetFileName 中。

此程序接受字典 GenParam 中的以下通用参数:

  • ‘overwrite_files’: 确定是否覆盖可能存在的目录。

    • ‘true’: 在写入文件之前删除可能存在的目录 DataDirectory
    • ‘false’(默认): 如果目录存在,则抛出错误。
    • ‘auto’: 只有在有必要时才进行预处理。为了重用可能存在的目录 DataDirectory,它必须包含与输入的 DLDatasetDLPreprocessParam 对应的完全预处理的数据集。
  • ‘show_progress’: 如果设置为 true,则在窗口中显示预处理的进度。默认为 true。

  • ‘class_weights’: 为 DLDataset 中的每个类别设置权重。

    • 如果设置为 [],则使用 calculate_dl_segmentation_class_weights 计算类别权重。仅适用于 ‘type’ 为 ‘segmentation’ 的模型。
    • 默认值是 []。
  • ‘max_weight’: 设置 calculate_dl_segmentation_class_weights 的 ‘max_weight’ 参数。详细信息请参阅相应的文档。仅适用于 ‘type’ 为 ‘segmentation’(分割) 的模型。

    • 默认值是 []。

步骤:

该程序执行以下步骤:

  1. 使用 gen_dl_samples 为每个样本生成一个 DLSample 字典。
  2. 使用 preprocess_dl_samples 进行标准预处理。
  3. 使用 write_dictDLSample 字典写入文件,并将文件的路径存储在 DLDataset 字典的 ‘dlsample_file_name’ 条目中。
  4. 将包括生成和预处理的 DLSample 字典的路径的 DLDataset 字典写入 DLDatasetFileName 文件。

对于 ‘type’ 为 ‘segmentation’ 的模型,还会执行以下额外的步骤:

  1. 使用 calculate_dl_segmentation_class_weights 计算类别权重。
  2. 为每个 DLSample 生成一个权重图像,并保存更新后的 DLSamples

注意:

请注意,在预处理之后,请勿更改此文件夹的内容。

使用分析

首先通过 create_dl_preprocess_param_from_model 这个函数把模型里设置的参数,提取出来。所以 preprocess_dl_dataset 一是需要即将被处理的数据集字典,而是需要模型已经配置好的参数。此函数会根据模型里的参数对数据集进行预处理!
那为啥需要预处理呢?

首先,我从使用的过程观察,当参数 show_progress 被设置为 true的时候,此时会产生一个弹框,显示预处理的过程,这个过程大概从几十秒到几分钟不等:
在这里插入图片描述
过程完成之后,你会发现在第二个参数指定的文件夹下,会多长一个文件和一个文件夹:
在这里插入图片描述
如果使用 read_dict (DLDatasetFilename, [], [], DictHandle1) 读取整个字典你将看到如下内容。
这些其实就是之前的读取到的数据集啊!不过多了一些东西!
在这里插入图片描述
每个samples里也多出了一个字段
在这里插入图片描述
在看看多出的整个samples文件夹:
在这里插入图片描述
发现有很多的字典,其实每个字典里面都会包含一个图片,之前的图片是以文件的形式存在的
在这里插入图片描述
而现在以halcon的图片对象,保存再halcon的字典类型里面了!

读取其中的一个字典:
在这里插入图片描述
很明显,其中包含了图片,和该图片对于的标注信息,以及所有的类别信息。
有人可能会问,这些不是在数据集都有吗?为啥这里再整合一次呢?
我决定,原因可能有两个:
1: 基于halcon的训练网络,需要这中格式的文件。
2: 这样整合可以提高后续训练以及推理的速度。

小结

‘preprocess_dl_dataset’ 将单个的数据集字典,重新整合成,(一个字典 + 一群字典) 的形式。
输出只是一个目录,目录下是:一个字典 + 一群字典。
在这里插入图片描述

这篇关于【halcon深度学习之那些封装好的库函数】preprocess_dl_dataset的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/521195

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Python中文件读取操作漏洞深度解析与防护指南

《Python中文件读取操作漏洞深度解析与防护指南》在Web应用开发中,文件操作是最基础也最危险的功能之一,这篇文章将全面剖析Python环境中常见的文件读取漏洞类型,成因及防护方案,感兴趣的小伙伴可... 目录引言一、静态资源处理中的路径穿越漏洞1.1 典型漏洞场景1.2 os.path.join()的陷

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Spring Boot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)

《SpringBoot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)》:本文主要介绍SpringBoot拦截器Interceptor与过滤器Filter深度解析... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现与实

MyBatis分页插件PageHelper深度解析与实践指南

《MyBatis分页插件PageHelper深度解析与实践指南》在数据库操作中,分页查询是最常见的需求之一,传统的分页方式通常有两种内存分页和SQL分页,MyBatis作为优秀的ORM框架,本身并未提... 目录1. 为什么需要分页插件?2. PageHelper简介3. PageHelper集成与配置3.

Maven 插件配置分层架构深度解析

《Maven插件配置分层架构深度解析》:本文主要介绍Maven插件配置分层架构深度解析,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Maven 插件配置分层架构深度解析引言:当构建逻辑遇上复杂配置第一章 Maven插件配置的三重境界1.1 插件配置的拓扑

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

一文详解如何在Vue3中封装API请求

《一文详解如何在Vue3中封装API请求》在现代前端开发中,API请求是不可避免的一部分,尤其是与后端交互时,下面我们来看看如何在Vue3项目中封装API请求,让你在实现功能时更加高效吧... 目录为什么要封装API请求1. vue 3项目结构2. 安装axIOS3. 创建API封装模块4. 封装API请求

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认