An Attention-driven Two-stage Clustering Method for Unsupervised Person Re-Identification论文解读

ECCV 2020
论文地址：http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123730018.pdf

动机

采用聚类方法容易让同一个相机得到的行人图像聚到一个类别中。因为它们的背景具有很大的相似性。

第二行没有采用attention，第三行用了attention

思路

attention-driven two-stage clustering(ADTC)。两个步骤：1、用无监督注意力机制将学习到的背景特征转到前景特征；2、聚类分两步：k均值产生聚类中心；k相互杰卡德距离度量重新聚类数据。

背景

1、注意力机制在有监督方法中经常使用：用于突出行人的衣服等特征，而忽略背景；但目标i域没有Label，不能直接套用。当前有种思路：用姿态估计模型作为attention机制的硬标签，但计算复杂度更高了。

2、attention机制

attention分类：hard-attention——依赖姿态估计模型定位区域 ； soft-attention——在网络中插入一些可训练的层作为feature map的 mask；

soft-attention分类：空间注意力——专注于特征的不同空间位置 ； 通道注意力—— 对通道进行重新校准。

本文结合空间和通道注意力机制（可参考论文Harmo-nious Attention Convolutional Neural Network）

方法

voxel attention（VA）

结合了空间和通道注意力

空间注意力计算方法（无学习参数）：

1、沿通道计算每个空间位置的平均激活值

2、对 I 加一个softmax：

通道注意力计算方法（参考论文Squeeze-and-excitation networks）：

1、对 f 用GAP 将全局信息压缩到通道上（本质上就是池化到 1x1 大小）

2、用**两个 FC 层（中间那层的channel数要远远小于原始的通道数）**实现通道间的信息捕获

最终的feature map是两部分乘积：（理解：用 S 的每个位置和C中单独每个通道相乘）

Two-stage clustering(TC)

分两步

1、用 kmeans++ 方法获得聚类中心；

2、计算其他数据与聚类中心的k互助杰卡德距离，重新分配（本质上就是先对feature re-rank，再计算杰卡德距离，和MMT的DBSCAN类似）

注意：

1、聚类用的是经过 attention 之后的 feature

2、删除了有歧义的伪标签

交替训练

1、仅采用三元损失，而不用分类损失（模型会学习失败，因为聚类效果会在每一次交替训练中都不一样。）

结果

做了纯无监督和跨域无监督

w/o DA 表示没有在源域训练的结果

个人理解： attention + 循环聚类 的效果还是可以的，值得尝试

下图说明VA可以将positive和query（pq）之间距离拉近，拉远negative和query（nq）

横坐标 是nq - pq