利用图神经网络（GNN）的视频/图像分割模型总结（AGNN、Episodic Graph Memory Networks、Cas-GNN）

注：Zero-shot VOS即为零样本视频对象分割，指在验证阶段不会向网络输入除待测视频本身以外的其他注释样本，下文记为 Z-VOS；One-shot VOS即为单样本视频对象分割，也可称为自监督或半监督视频对象分割（semi-supervised VOS），指在验证阶段向网络输入辅助分割的注释样本（通常是待测视频第一帧的真实分割结果掩模），下文记为 O-VOS；Semantic Object Segmentation即为语义对象分割，下文记为SOS。

Ⅰ、AGNN（Z-VOS）

Attentive Graph Neural Networks

Wang W, Lu X, Shen J, et al. Zero-shot video object segmentation via attentive graph neural networks[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 9236-9245.

有loop-edge、intra-attention

v：结点，h：状态，g：门，m：消息

部分计算公式：

Ⅱ、Episodic Graph Memory Networks（O-VOS/Z-VOS）

Lu X, Wang W, Danelljan M, et al. Video object segmentation with episodic graph memory networks[C]//European Conference on Computer Vision. Springer, Cham, 2020: 661-679.

无loop-edge，

m：结点/消息，h：情景特征（状态），a：门

q：当前帧（自监督时）

部分计算公式：

论文里出现了一个词组，叫做 the label shuffling strategy（标签洗牌策略），它鼓励分割网络学习通过考虑当前的训练样本，而不是记忆目标和给定标签之间的特定关系，来区分当前框架中的特定实例

Ⅲ、Cas-GNN（SOS）

Cascade Graph Neural Networks

Luo A, Li X, Yang F, et al. Cascade graph neural networks for rgb-d salient object detection[C]//European Conference on Computer Vision. Springer, Cham, 2020: 346-364.

Node：多尺度颜色特征ci和深度特征di

Edge：1) ci或di之间，2) 相同尺度的ci和di之间

CNN：VNN-16，and use the dilated network technique（扩张网络技术） to ensure that the last two groups of VGG-16 have the same resolution

提取特征C和D后，用基于图的推理模型 Graph-based Reasoning (GR) module 推理跨模态的高阶关系，得到更强大的embeddings：

（比前两个多的一部分）
Hierarchical分层的GNN模型：由于它独立处理多层次推理过程，很难充分做到互利

Cascade Graph Reasoning (CGR) module 级联图推理模型：

总结：

1、相同点：

流程（框架）基本相同：CNN提取特征（RGB/RGB+某一帧/RGB+D），用（视频片段的某几帧的特征/图片提取多尺度特征）表示成几个结点，（RGB自连+互连/RGB互连/RGB+D互连）形成图，迭代进行消息传递，最后的结点特征（状态）再读出成所要的S（预测）

2、不同点：

Ⅰ像是标配版

Ⅱ在Ⅰ的基础上加了自监督（O-VOS）（如果是Z-VOS感觉和Ⅰ差不多吧）

Ⅲ在Ⅰ的基础上加了级联图推理CGR