COCO 54.7mAP 开源DetectoRS:使用递归特征金字塔检测对象和可切换的Atrous卷积

本文主要是介绍COCO 54.7mAP 开源DetectoRS:使用递归特征金字塔检测对象和可切换的Atrous卷积,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

作者信息

 

第一作者Siyuan Qiao目前是约翰霍普金斯大学的博士生,第二作者是著名的DeepLab系列算法的主要作者、谷歌公司的研究员Liang-Chieh Chen。

 

在COCO数据集的实例分割和全景分割任务中,DetectoRS,成为当前目标检测、语义分割和全景分割领域的全能者。

 

介绍

在本文中,作者探索了用于目标检测的主干设计中的这种机制。在宏级别提出了递归特征金字塔,它结合了从特征金字塔网络到自下而上的骨干层的额外反馈连接。在微观层面上,作者又提出了可切换的Atrous卷积,它以不同的atrous速率对特征进行卷积,并使用switch函数收集结果。将它们组合在一起将产生DetectoRS,这将大大提高对象检测的性能。在COCO测试开发中,DetectoRS达到了用于对象检测的54.7%的盒式AP,用于实例分割的47.1%的遮罩AP和用于全景分割的49.6%的PQ。 

 

架构思想

检测器的思想来源于Faster RCNN 、Cascade R-CNN等成功的目标检测算法的思想:三思而后行(无论是两级检测器还是级联检测器,都反映了信息的重复使用和细化),将此思想应用于骨干网的改进。主要创新点如图所示:

图1:(a)我们的递归特征金字塔添加了从上至下FPN层到自下而上骨干层的反馈连接(实线),以查看图像两次或更多次。(b)我们的可切换原子卷积在具有不同原子速率的输入特征上查看两次,并且通过开关将输出组合在一起。

 

  • 在宏层次上,提出了一种递归特征金字塔网络(RFP,recursive feature pyramid),它将FPN的反馈信息集成到骨干网络上,使骨干网络重新训练的特征能够更好地适应检测或分割任务。

  • 在微观层次上,提出了用可切换的阿托洛斯卷积(SAC)来代替骨干网络上的标准卷积,使模型能够自适应地选择接收场。

 

递归特征金字塔网络(RFP)

 

众所周知的特征金字塔网络(FPN)是将骨干网不同阶段的特征金字塔形成一个特征金字塔,如下(a)所示,RFP为骨干网增加目标检测任务的梯度,如下图(B)所示。

图2:递归特征金字塔(RFP)的体系结构。(a)功能金字塔网络(FPN)。(b)我们的RFP包含将反馈连接到FPN。(c)RFP展开到两步顺序网络。

 

  • 反馈连接网络

图3:RFP将变换后的功能添加到Re的每个阶段

 

  • RPN中的融合模块:

图4:RFP中使用的融合模块。σ是输出Sigmoid,用于融合来自不同步骤的特征

 


可切换的空洞卷积

 

空心卷积可以增加网络的接收场,这已被证明是有效的检测和分割任务。

作者提出的可切换的Atrous卷积使网络训练尺度的选择更加灵活,如下图所示:

不同空穴率的空卷积捕获不同接收场的目标,网络可以学习一个开关,自适应地调整选择接收场的卷积结果。

网络结构如下图所示:

图4:可切换的Atrous卷积(SAC)。我们将主干网ResNet中的每个3x3卷积层都转换SAC,从而在不同的空率之间软切换卷积计算。锁指示权重为除可训练的差异外,其他均相同。

 

实验结果

作者在实验中对上述两项改进进行了评估。

图6:比较HTC,“ HTC + RFP”的培训损失,“ HTC + SAC”和DetectoRS在12个训练时期内。

 


可以看出,HTC算法+RFP或HTC+SAC的精度有了较大的提高,相比之下,HTC+SAC的改进更大,而加入RFP和SAC的精度最高。

 

下图显示了DetectoRS使用不同类型骨干网和其他SOTA算法的检测者的比较:

表1:在COCO test-dev上用于边界框对象检测的最新技术比较。TTA:测试时间增加,包括多尺度测试,水平翻转等。不带TTA的DetectoRS的输入大小为(1333,800)。mstrain:多尺度训练。

利用ResNeXt-101-32x4d骨干网,detectors在单尺度和多尺度上实现了COCO目标检测的最高精度,分别达到53.3mAP和54.7mAP

表5:在COCO test-dev上的实例细分比较。mstrain:多尺度训练。

结论

在本文中,基于“三思而后行”的设计理念,作者提出了DetectoRS。包括递归特征金字塔和可切换Atrous卷积。递归特征金字塔在宏级别(FPN的输出)实现了两次思考被带回到自下而上的骨干网的每个阶段通过反馈连接。可切换的Atrous卷积实例化了微观级别的两次,其中输入以两种不同的圆规速率进行卷积。在COCO上对DetectoRS进行了对象实例检测测试分割和全景分割都有非常优秀得表现。

 

论文地址:

https://arxiv.org/pdf/2006.02334.pdf

代码地址:

https://github.com/joe-siyuan-qiao/DetectoRS

 

 

更多论文地址源码地址:关注“图像算法”微信公众号

这篇关于COCO 54.7mAP 开源DetectoRS:使用递归特征金字塔检测对象和可切换的Atrous卷积的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/hahabeibei123456789/article/details/106653895
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/405218

相关文章

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》:本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window