【YOLOv5改进系列(8)】高效涨点----添加yolov7中Aux head 辅助训练头

本文主要是介绍【YOLOv5改进系列(8)】高效涨点----添加yolov7中Aux head 辅助训练头，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在这里插入图片描述

文章目录

🚀🚀🚀前言
一、1️⃣ Auxiliary head辅助头简单介绍
二、2️⃣从损失函数和标签分配分析
三、3️⃣正负样本标签分配
四、4️⃣如何添加Aux head辅助训练头
五、5️⃣实验部分(后续添加，还是跑模型，辅助头真是太慢了！！！)

在这里插入图片描述

👀🎉📜系列文章目录

【YOLOv5改进系列(1)】高效涨点----使用EIoU、Alpha-IoU、SIoU、Focal-EIOU替换CIou
【YOLOv5改进系列(2)】高效涨点----Wise-IoU详细解读及使用Wise-IoU(WIOU)替换CIOU
【YOLOv5改进系列(3)】高效涨点----Optimal Transport Assignment：OTA最优传输方法
【YOLOv5改进系列(4)】高效涨点----添加可变形卷积DCNv2
【YOLOv5改进系列(5)】高效涨点----添加密集小目标检测NWD方法
【YOLOv5改进系列(6)】高效涨点----使用DAMO-YOLO中的Efficient RepGFPN模块替换yolov5中的Neck部分
【YOLOv5改进系列(7)】高效涨点----使用yolov8中的C2F模块替换yolov5中的C3模块

🚀🚀🚀前言

auxiliary head辅助训练头是出至yolov7论文，这两天都在研究如何能够将v8和v7的一些模块添加到yolov5中，添加 Aux head 的主要原因是让网络中间层学到更多信息，有更丰富的梯度信息帮助训练。这里要注意，好的梯度信息能够让相同参数量的网络学的更好。这里的yolov5除了添加了辅助训练头，而且还进行了改进，将之前的OTA最优传输也添加进来，用于优化标签分配策略，添加之后我感觉训练损失慢了5倍不止，但是收敛效果和识别精度要提高了不少。

📜yolov7论文：YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
📌论文代码：https://github.com/WongKinYiu/yolov7

一、1️⃣ Auxiliary head辅助头简单介绍

左边是正常训练，在经过上采样和下采样以及特征融合之后，将输出特征进行分类和识别，而Auxiliary head则是在特征输出之前在中间添加一部分辅助头。
在这里插入图片描述

二、2️⃣从损失函数和标签分配分析

➤深度监督
意思是在模型训练的过程中，除了最终的检测头，在中间的层也增加了辅助检测头，这个辅助检测头也会加入到损失函数的计算中，并且辅助反向传播，去更新前面的参数。

➤标签分类
标签分配指的是把输入图片中的标注框和最终预测的预测值对应起来，便于进一步求损失值。

标检测的损失往往由三个部分组成：分类损失Lcls，置信度损失Lobj与边界框的iou损失Lbox。Lcls与Lbox仅由正样本产生，而Lobj则由所有样本产生。

不同于DETR这种端到端的目标检测算法，YOLO会产生大量的预测框，每一个预测框称之为一个样本。那么对于产生的这些预测框，哪些应该作为正样本去与gt(ground truth)计算Lbox与Lcls，哪些又应该作为负样本仅仅贡献Lobj呢？这就取决于所定义的标签分配方法。

在过去的深度网络训练中，标签分配通常直接引用GT(真实标签)，并根据给定的规则生成硬标签。比如YOLOv5中，根据中心点所在的位置加入附近两个格子，即同时分配给三个位置来预测。这种方法就叫做硬标签，因为他是直接根据gt来直接产生每个格子的标签，传入损失函数中求损失值。

而YOLOv7中使用的是软标签分配方法。在该方法中，Head产生的预测值和GT一起传给分配器，才会得到每个网格的目标值，利用这里的软标签再和预测值一起传入损失函数中求损失值。

常规思路是：由于用到了辅助头训练，因此分开求Lead Head和辅助头的软标签和损失值。比如图©中的辅助头训练。
在这里插入图片描述
但是YOLOv7提出了2种新方法。

第一种是辅助头求Loss时，直接利用Lead Head产生的软标签进行计算。(图d)
第二种是在第一种的基础上产生了course标签和fine标签两种标签(也就是细粒度和粗糙标签)。（图c 比较难）

其中fine label 会用于训练 Lead head ，而Aux head 因为抽象能力弱则使用 coarse 的标签进行训练。

三、3️⃣正负样本标签分配

OTA最优传输标签分配中认为先根据正样本可能出现的区域进行筛选然后再计算 IoU Loss 或者其他进行进一步的标签分配。YOLO v7 中继承了这一做法，也就有了 coarse 的操作。
在这里插入图片描述
🔥在上图中，展示了如何制作从粗到精的约束导联头引导标签分配器。通过限制两个额外候选正网格(图中黄色网格)的解码器来进行动态约束。理论上，黄色网格需要预测[1,2]的范围来拟合真实值边界盒，我们使解码器只能预测[-0.5,1.5]的范围。这个约束使得模型可以自动学习不同层次的粉色网格和黄色网格。

四、4️⃣如何添加Aux head辅助训练头

🚀首先看一下配置文件的区别，左边是添加了3层辅助训练头的yaml文件，右边是正常的yolov5网络结构。在原有的[17, 20, 23]上面又添加了[24, 25, 26]进行训练。

在这里插入图片描述
🔥🔥🔥🔥🔥🔥除了yaml中的head部分需要修改，另外需要修改的就是损失函数，yolov7中的是ComputeLossAuxOTA损失，因为需要添加很多代码，而且部分代码的修改比较复杂，防止在训练过程中报错，这里建议直接将下面的代码文件，与yolov5-v7.0中的对应代码进行替换。
在这里插入图片描述