《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读

2023-11-06 15:10

本文主要是介绍《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题:由于网络结构的复杂,进行预测的代价过高,难以将网络部署到轻量级设备用户中。

解决方法:利用知识蒸馏进行模型压缩,实现轻量级网络。

接下来以这篇论文为基础来认识知识蒸馏。

1、软标签和硬标签

描述:硬标签就是指我们在预测时正确的值为1,错误的值为0。而软标签则认为错误的标签不可能都是零,因为对错误标签而言总有着自己的差距,如下面所示。

                     硬标签       软标签

       宝马           1               0.9

       奔驰           0               0.6

      垃圾车         0               0.3

          胡萝卜         0               0.001

从上面描述可知,在我们预测宝马车时,除了正确的标签归为1,其他的标签都为0,也就是非0即1。但是实际上在错误类别中,宝马更像奔驰而更不像胡萝卜,这说明错误标签的信息也有差距。于是就引入了软标签,将标签值改为0到1之间的值,这样呈现的信息就更为丰富。

2、温度系数T 

软标签可以把错误标签的信息呈现出来,但是在呈现时有些错误标签的差距不明显,也就是标签值不够软。这个时候为了把这个不明显的差距变得更为明显,论文作者就引入了温度系数T来改变原来的SoftMax函数,即:

式中qi代表使用SoftMax输出的类别概率、zi代表每个类别的logit、T为温度系数。

PS:如果T小,错误类别的信息差距较小,但如果T过大,标签就会过软,容易导致平均主义,难以达到预测的效果,具体T的选值效果如下所示。

 图中,我们可以看出T越大,曲线越平滑。如果T过大就易出现平均主义,就会变得难以预测。

3、知识蒸馏网路框架

 图中分别将样本喂入教师模型和学生模型进行训练,其中教师模型为原有的复杂模型,学生模型为压缩后的简单模型。在计算损失时,需要分别计算蒸馏损失和学生损失,蒸馏损失是在温度为T的时候计算教师和学生两个网络输出的交叉熵,而学生损失是在温度为1的情况下计算真实标签和学生网络输出的交叉熵,具体公式如下。

L_{total}=-\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^{n}\lambda* log\left (y*P\left ( x_{ij} \right ) \right )+\left ( 1-\lambda \right )* log\left (Y_{ij}*P\left ( x_{ij} \right ) \right )

式中共有m个样本和n个类别,y代表真实标签(硬标签) ,P(xij)表示学生网络输出的软标签,Yij表示教师网络输出的软标签,λ表示0到1之间的权重系数。

4、交叉熵梯度 

假设教师模型为vi,学生模型为zi,两者分别的软目标概率分布为qi和pi,则梯度为:

 1、假设温度系数可以无限大,式子就变形为:

PS:采用e^{x}的泰勒展开式, 假如T无限大,则后面几项就可以忽略不计,此时我们取泰勒的前两项,就转变为上面的形式。

2、假设不同样本的logit值为0:

 PS:分母里的两个西格玛求和为0。

因此在这两个条件都满足的特例情况下,就转变为求最小化均方误差。

5、结论 

为了验证知识蒸馏的效果,论文作者在MINST手写数字集上进行了预实验,然后以语音识别的复杂模型蒸馏来验证了知识蒸馏的性能。

这篇关于《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/qq_60445109/article/details/125245695
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/357368

相关文章

解读GC日志中的各项指标用法

《解读GC日志中的各项指标用法》:本文主要介绍GC日志中的各项指标用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基础 GC 日志格式(以 G1 为例)1. Minor GC 日志2. Full GC 日志二、关键指标解析1. GC 类型与触发原因2. 堆

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》:本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器(Iterator)1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【

MySQL主从复制与读写分离的用法解读

《MySQL主从复制与读写分离的用法解读》:本文主要介绍MySQL主从复制与读写分离的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、主从复制mysql主从复制原理实验案例二、读写分离实验案例安装并配置mycat 软件设置mycat读写分离验证mycat读

Python的端到端测试框架SeleniumBase使用解读

《Python的端到端测试框架SeleniumBase使用解读》:本文主要介绍Python的端到端测试框架SeleniumBase使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录SeleniumBase详细介绍及用法指南什么是 SeleniumBase?SeleniumBase

Nacos注册中心和配置中心的底层原理全面解读

《Nacos注册中心和配置中心的底层原理全面解读》:本文主要介绍Nacos注册中心和配置中心的底层原理的全面解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录临时实例和永久实例为什么 Nacos 要将服务实例分为临时实例和永久实例?1.x 版本和2.x版本的区别

C++类和对象之默认成员函数的使用解读

《C++类和对象之默认成员函数的使用解读》:本文主要介绍C++类和对象之默认成员函数的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、默认成员函数有哪些二、各默认成员函数详解默认构造函数析构函数拷贝构造函数拷贝赋值运算符三、默认成员函数的注意事项总结一

MySQL的ALTER TABLE命令的使用解读

《MySQL的ALTERTABLE命令的使用解读》:本文主要介绍MySQL的ALTERTABLE命令的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、查看所建表的编China编程码格式2、修改表的编码格式3、修改列队数据类型4、添加列5、修改列的位置5.1、把列

Linux CPU飙升排查五步法解读

《LinuxCPU飙升排查五步法解读》:本文主要介绍LinuxCPU飙升排查五步法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录排查思路-五步法1. top命令定位应用进程pid2.php top-Hp[pid]定位应用进程对应的线程tid3. printf"%

解读@ConfigurationProperties和@value的区别

《解读@ConfigurationProperties和@value的区别》:本文主要介绍@ConfigurationProperties和@value的区别及说明,具有很好的参考价值,希望对大家... 目录1. 功能对比2. 使用场景对比@ConfigurationProperties@Value3. 核