深度学习batch、batch_size、epoch、iteration以及小样本中episode、support set、query set关系

本文主要是介绍深度学习batch、batch_size、epoch、iteration以及小样本中episode、support set、query set关系,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

batch、batch_size、epoch、iteration关系:

epoch:整个数据集

batch: 整个数据集分成多少小块进行训练

batch_size: 一次训练(1 batch)需要 batch_size个样本

iteration: 整个数据集需要用batch_size训练多少轮

例如:训练集1000个样本,分成100小块batch,batch_size=10,则iteration=100轮,epoch=1


小样本中episode、support set、query set关系

小样本中分为meta-training和meta-testing
meta-testing从总类中随机选择N个类,每个类选k+x个样本,k个样本用作support set,x用作query set,同理可得meta-training中的S和Q(此时不一定和testing选N个类或者k个样本)

img

一个episode/task 就是一次Support set + Query set训练(包含数据集划分,训练,反向传播,更新参数过程,下一个episode,再选择其他几个类训练模型。

假设上述是5-way-1-shot,一个episod训练过程如下:

  1. backbone从S的5类图片中提一个 5x1600 维的 support feature Zs(假设每一类图片用一个1600维向量表示,5类就是一个5x1600 维的矩阵)
  2. 将这个 support feature 送入 classifier 中
  3. Query set 将一张图片送入 backbone ,提出一个1x1600 维的 query feature Zq (因为 Query set 中的这张图片肯定是属于 5 类中的某一类,而一类图片是用一个 1600 维的向量来表征的,因此这里将会得到一个 1x1600 维的矩阵)
  4. 将这个 query feature 送入 classifier 中
  5. classifier 中接收到了两个feature: Z’s ( 5x1600 维 ) 和 Zq( 1x1600 维 ),计算两个feature之间的距离(余弦距离就是做内积得到一个5x1的向量)
  6. 经过sofmax得到值最大的一个或者one-hot编码为1就是query set属于哪一类
  7. 预测结果和真实标签计算loss ,梯度反向传播来更新backbone的网络参数

参考文章:
神经网络中episode、epoch、iteration、batch_size的理解
episode、epoch、batch-size、iteration区别
小样本学习中的一些基本概念
小样本学习(Few-Shot Learning)训练参数意义

这篇关于深度学习batch、batch_size、epoch、iteration以及小样本中episode、support set、query set关系的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/192218

相关文章

java中新生代和老生代的关系说明

《java中新生代和老生代的关系说明》:本文主要介绍java中新生代和老生代的关系说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、内存区域划分新生代老年代二、对象生命周期与晋升流程三、新生代与老年代的协作机制1. 跨代引用处理2. 动态年龄判定3. 空间分

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

c++中的set容器介绍及操作大全

《c++中的set容器介绍及操作大全》:本文主要介绍c++中的set容器介绍及操作大全,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录​​一、核心特性​​️ ​​二、基本操作​​​​1. 初始化与赋值​​​​2. 增删查操作​​​​3. 遍历方

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错?是不是同时用了.properties和.yml?二、换个位置配置就失效?搞清楚加

shell中set -u、set -x、set -e的使用

《shell中set-u、set-x、set-e的使用》本文主要介绍了shell中set-u、set-x、set-e的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录✅ 1. set -u:防止使用未定义变量 作用: 示例:❌ 报错示例输出:✅ 推荐使用场景:✅ 2. se

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和