引入噪声解决过平滑问题的GNN方法：SIMPLE GNN NOISE REGULARISATION FOR 3D MOLECULAR PROPERTY PREDICTION AND BEYON

论文： ICLR2022的投稿，得分[8,6,6,5]

地址： Simple GNN Regularisation for 3D Molecular Property Prediction and Beyond | OpenReview

内容： 通过引入噪声的方式，减缓了GNN的过平滑问题。使得添加了噪声节点的 、不是用来处理图神经网络的GNS (Sanchez-Gonzalez* et al., 2020)达到了sota的结果。

噪声节点

• 
  • 
• 增加的噪声防止了过拟合，去噪损失确保了不同的节点级目标，鼓励模型利用消息传递。例如，假设一组三个原子被噪声破坏，导致两个原子非常接近(因此具有非常高的原子间作用力)。为了正确地消除原子间距离的噪声，GNN必须使用消息传递在三个原子之间进行三角测量
• MAD是一种度量图形节点特征多样性的指标，通常用来量化过平滑，数值越高节点特征越多样化，数值越低多样性越小。下图表示噪声节点的引入确实减缓了过平滑
  • 

实验结果

对GNS进行了一点点小修改：1）增加了noisy nodes，2）将几层组块，然后每块之间进行权重共享。

感想

• 本文提出的方法确实是简单但是高效的。方法很通俗易懂，导致我没有什么可以整理的；实验却很详实，而且效果很好。使用Noisy Nodes的MPNN竟然干过了Graphormer，不得不说很amazing了。