CV之DL之PanopticFPN：FPN/Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

地址

论文地址：https://arxiv.org/abs/1612.03144

时间

2016年12月9日

作者

Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie

总结

这篇文章主要探讨了如何利用卷积神经网络在计算机视觉任务中的多尺度特征表示能力。

主要问题和痛点:

>> 传统图像金字塔法生成多尺度特征图需要分别在每个尺度上计算特征，计算效率低下。

>> 尽管深度卷积神经网络可以很好地应对尺度变化，但单尺度特征依然无法很好解决多尺度目标检测任务。

>> 卷积神经网络的多层特征图天然具有金字塔结构，但不同层之间的语义差异大，直接利用难以达到很好效果。

文章提出的Feature Pyramid Network(FPN)解决方案包括:

>> 利用卷积神经网络底向计算得到的多层特征作为基础。

>> 建立顶向传播结构，通过上采样和通道匹配结合底向特征，生成语义更强的高分辨率特征图作为fpn各级特征。

>> 在各个FPN级别上独立预测，实现与传统图像金字塔类似的多尺度预测能力。

>> 将FPN应用在RPN和Fast RCNN框架中进行目标检测和实例分割任务，实验结果表明与单尺度和其他对比方法有明显提升。

>> FPN不增加测试时间复杂度，能在多尺度任务上取得当前最优效果，适用于实际应用场景。

总之，FPN通过建立卷积神经网络内部的多尺度特征金字塔结构，很好地结合了强语义低分辨率特征和弱语义高分辨率特征，实现了效率和准确率兼优的多尺度目标检测能力。

Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper, we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A top-down architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using FPN in a basic Faster R-CNN system, our method achieves state-of-the-art single-model results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 5 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available.

特征金字塔是识别系统中用于检测不同尺度对象的基本组件。但是，最近的深度学习目标检测器避免使用金字塔表示，部分原因是其计算和内存密集型。在本文中，我们利用深度卷积网络固有的多尺度金字塔层次结构，以极小的额外成本构建特征金字塔。我们采用了一种自上而下的架构，配合横向连接，用于在所有尺度上构建高级语义特征图。这种架构被称为特征金字塔网络（FPN），在多个应用中作为通用特征提取器显示出显著的改进。在基本的Faster R-CNN系统中使用FPN，我们的方法在COCO检测基准上实现了单模型的最新结果，无需任何花哨的技巧，超越了所有现有的单模型条目，包括COCO 2016挑战的获奖者。此外，我们的方法可以在GPU上以5FPS的速度运行，因此是多尺度目标检测的实际而准确的解决方案。代码将会公开提供。

地址

论文地址：https://arxiv.org/abs/1901.02446

时间

2019年1月8日

作者

Alexander Kirillov, Ross Girshick, Kaiming He, Piotr Dollár

总结

本文提出了一种全面分割方法Panoptic FPN。

传统的实例分割与语义分割方法分别使用不同的网络，没有共享计算资源。这篇论文的目的是将这两种任务在结构上统一，设计一个网络同时解决实例分割与语义分割任务。

作者基于Mask R-CNN这个流行的实例分割框架，在其FPN(Feature Pyramid Networks)骨干上添加了一个语义分割分支。实验证明这个简单的Baseline不仅在实例分割任务上效果还行，而且可以作为语义分割任务的轻量级且高效的方法。

论文通过详细实验研究了这个扩展版本——Panoptic FPN，证明它在两个任务上的表现都很稳定和准确，可以作为这两个联合任务的一个强基线。

考虑到它的效果和概念简单性，作者希望这个方法可以为未来的全面分割研究提供一个强基准。

也就是说，本文的痛点在于实例分割与语义分割任务长期分离，没有资源共享。作者在Mask R-CNN实例分割框架的基础上，加入了一个语义分割分支，实现了两个任务的联合网络，解决了原始方法的分离问题。

The recently introduced panoptic segmentation task has renewed our community's interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-of-the-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, top-performing method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.

ChatGPT

最近引入的全景分割任务重新引起了我们社区对统一实例分割（针对物体类别）和语义分割（针对背景类别）任务的兴趣。然而，目前针对这一联合任务的最先进方法使用单独且不同的网络进行实例和语义分割，没有执行任何共享计算。在这项工作中，我们旨在在架构层面统一这些方法，设计一个单一网络来完成这两个任务。我们的方法是在Mask R-CNN，一种流行的实例分割方法上，通过使用共享的特征金字塔网络（FPN）骨干来增加一个语义分割分支。令人惊讶的是，这种简单的基准不仅对于实例分割仍然有效，而且还产生了一种轻量级、表现卓越的语义分割方法。在这项工作中，我们对这个最小程度扩展的Mask R-CNN与FPN版本进行了详细研究，我们将其称为全景FPN，并展示它是两个任务的稳健而准确的基准。鉴于其有效性和概念上的简单性，我们希望我们的方法能够成为一个强大的基准，并在全景分割的未来研究中发挥作用。