图解通俗理解对比学习(Contrastive Learning)中的温度系数（temperature）

1. 对比学习简述

没有学过对比学习的，请学一下，这里只是复习。

对比学习目的：让相似的样本在空间中距离近一点，让不相似的样本距离远一点。这样就可以让特征分布在空间中更加均匀。

对比学习方法：

1. 构建一个正样本对儿 $(x_i,x_j)$ ，和负样本对儿 $(x_i,y_j)$ ，其中$x_i$和$x_j$为相似的样本（例如两张狗的图片），而$x_i$和$y_j$为不相似的样本（例如狗和猫的图片）。
2. 为了让相似的样本在空间中距离更近，不相似的样本在空间中更远，可以使用相似度函数(通常使用余弦相似度(cosine similarity))计算的相似度，即 $\text{sim}(x_i,x_j)$越大越好，$\text{sim}(x_i,y_j)$ 越小越好

这里的 $x_i$ 称为锚点，$x_j$ 称为正样本，$y_j$称为负样本

对比学习的Loss：

1. 对比学习的Loss和多分类是一样的，都是使用的CrossEntropyLoss。

为什么使用CrossEntropyLoss可行呢，我们不妨来想一下多分类是怎么做的。

在多分类中，假设我们有4个类别，$[c_1,c_2,c_3,c_4]$，假设我们的输出为 $y=[y_1,y_2,y_3,y_4]$，若当前样本为$c_1$类别，那么我们则是希望 $y_1$ 越大越好，$y_2,y_3,y_4$越小越好。

在对比学习中，假设我们有1个正样本 $(x_1^{\prime })$，3个负样本 $(y_2,y_3,y_4)$，那么使用样本 $x$ 与它们计算的样本相似度为 $[\text{sim}(x,x_1^{\prime }),\text{sim}(x,y_2),\text{sim}(x,y_3),\text{sim}(x,y_4)]$，此时我们同样是想让 $\text{sim}(x,x_1^{\prime })$ 越大越好，其他的越小越好呢。

所以，对比学习也使用CrossEntropyLoss。对比学习损失函数写作：

$$L_c=-\log \frac{\exp \left(\mathrm{sim}\left(x,x_i^{\prime }\right)/\tau \right)}{{\sum }_{j=1}^n\exp \left(\mathrm{sim}\left(x,y_j\right)/\tau \right)}$$

虽然每个论文的公式写不太一样，但表达的意思都是一样的。

2. 直观感受下对比学习

为了感受对比学习的作用，我们将使用如下代码进行演示。

首先导入需要用到的包：

import matplotlib.pyplot as plt
import torch
from torch import nn
import random
import numpy as np
import torch.nn.functional as F
from tqdm import tqdm
import copy

定义一些两个工具类：

def setup_seed(seed):torch.manual_seed(seed)torch.cuda.manual_seed_all(seed)np.random.seed(seed)random.seed(seed)torch.backends.cudnn.deterministic = True"""用于绘制样本"""
def plot_samples(samples, labels):plt.xlim(-1.1, 1.1)plt.ylim(-1.1, 1.1)plt.scatter(samples[labels==0, 0], samples[labels==0, 1], color='blue')plt.scatter(samples[labels==1, 0], samples[labels==1, 1], color='yellow')plt.scatter(samples[labels==2, 0], samples[labels==2, 1], color='black')plt.scatter(samples[labels==3, 0], samples[labels==3, 1], color='red')plt.annotate("", xy=(1, 0), xycoords='data', xytext=(-1, 0), textcoords='data',arrowprops=dict(arrowstyle="->", connectionstyle="arc3"))  # 画x轴plt.annotate("", xy=(0, 1), xycoords='data', xytext=(0, -1), textcoords='data',arrowprops=dict(arrowstyle="->", connectionstyle="arc3"))  # 画y轴plt.show()setup_seed(0) # 设置随机种子

接下来正式开始对比学习演示。

这里我们定义100个样本，每个样本有两个特征(x, y)，Label有(0,1,2,4)，即所属的象限：

samples = torch.rand(100, 2)
samples[25:50, 0] -= 1
samples[50:75, :] -= 1
samples[75:100, 1] -= 1
labels = torch.LongTensor([0] * 25 + [1] * 25 + [2] * 25 + [3] * 25)

绘制我们的样本，如下：

plot_samples(samples, labels)

之后我们定义一个encoder来模拟卷积网络、BERT等负责提取特征的backbone：

encoder = nn.Sequential(nn.Linear(2, 10, bias=False),nn.Linear(10, 2, bias=False),nn.Tanh()
)

经过encoder后，我们会提取样本的特征，绘制到图中如下：

plot_samples(encoder(samples).clone().detach(), labels)

从图上我们可以看到我们的encoder提取的特征都挤在一起了，这对于后续网络的分类很不利，所以对比学习就派上用场了，让相似的样本离得近一点，不相似的样本距离远一点，最终可以做到均匀分布。

这里举得例子不够好，因为相似样本距离已经很近了。

我们首先准备一下使用对比学习训练encoder的代码：

def train_and_plot(step=10000, temperature=0.05):"""step: 训练次数temperature：温度系数"""encoder_ = copy.deepcopy(encoder)	# 这里复制一个encoder，别污染原来的encoder，因为后面要做对比实验loss_fnt = nn.CrossEntropyLoss()optimizer = torch.optim.SGD(encoder_.parameters(), lr=3e-4)# 训练step次，简单期间，这里batch_size=1for _ in tqdm(range(step)):anchor_label = random.randint(0, 3)	# 从4个label里随机挑出一种作为anchoranchor_sample = samples[labels == anchor_label][random.sample(range(25), 1)]  # 从anchor样本中随机挑出一个样本positive_sample = samples[labels == anchor_label][random.sample(range(25), 1)] # 从anchor样本中再挑出一个做成正样本negative_samples = samples[labels != anchor_label][random.sample(range(75), 3)] # 从其他样本中挑出3个作为负样本# 使用encoder提取各个样本的特征anchor_feature = encoder_(anchor_sample)positive_feature = encoder_(positive_sample)negative_feature = encoder_(negative_samples)# 计算anchor与正样本和负样本的相似度positive_sim = F.cosine_similarity(anchor_feature, positive_feature)negative_sim = F.cosine_similarity(anchor_feature, negative_feature)# 将正样本和负样本concat起来，再除以温度参数sims = torch.concat([positive_sim, negative_sim]) / temperature# 构建CrossEntropyLoss的Label，因为我把正样本放在了第0个位置，所以Label为0sims_label = torch.LongTensor([0])	# 计算CrossEntropyLossloss = loss_fnt(sims.unsqueeze(0), sims_label.view(-1))loss.backward()# 更新参数optimizer.step()optimizer.zero_grad()# 绘制训练后的结果。plot_samples(encoder_(samples).clone().detach(), labels)

接下来使用0.05的温度参数训练一下encoder，然后重新绘制samples的特征向量：

train_and_plot(10000, temperature=0.05)

可以看到，经过对比学习后，特征分布更加均匀了。

3. 对比学习不同温度系数比较

上一节我们准备了一个对比学习的训练函数，所以只需要使用不同的参数就能进行比较：

train_and_plot(10000, temperature=0.99)
train_and_plot(10000, temperature=0.5)
train_and_plot(10000, temperature=0.05)
train_and_plot(10000, temperature=0.01)
train_and_plot(10000, temperature=0.001)

最终我们得到如下图：

最后的0.001温度系数点看起来很少并不是因为点消失或出界了，而是因为网络使用了Tanh激活函数，将特征限制在了(-1, 1)之间，所以样本点都集中在了 $(-1,1)$ 和 $(-1,-1)$ 这两个位置。

结论

从上图中可以看出如下结论：

1. 温度参数越小，对比学习效果越强，即对比学习让相似样本距离就会越近，不相似样本距离越远
2. 若想要让样本特征分布均匀，温度参数需要适中，太大和太小都不好。

4. 对比学习结论分析

之所以会出现上述的结果，其实很容易分析，我们只需要看一下不同参数的求Loss过程中的变化即可。

假设我们的锚点样本和正负样本的相似度如下：

$[\text{sim}(x,x_1^{\prime }),\text{sim}(x,y_2),\text{sim}(x,y_3),\text{sim}(x,y_4)]$ = [0.5, 0.25, -0.45, -0.1]

我们来看一下随着温度参数的变化，相似度、SoftMax的概率分布和CrossEntropyLoss都是如何变化的：

你可以使用下面这段代码进行上述表格的实验：

t = 1	# 温度参数
sims = torch.tensor([0.5, 0.25, -0.45, -0.1]) / t
print(sims)
prob = F.softmax(sims, dim=-1)
print(prob)
loss = F.cross_entropy(sims.unsqueeze(0), torch.LongTensor([0]))
print(loss)

从上面的表格可以得到如下结论：

• 温度系数越低，概率分布就越陡。也就是在对比学习中经常看到的图：
  
  这个图可能看起来还不够清晰，如果用正态分布表示，则为：
  （此图并不严谨，是随便画的，主要用于感受温度变化对概率分布的调整）
  
• 当锚点与正样本的相似度最高时，温度系数越低，loss越低。

上述表格是假设了锚点与正样本的相似度最高，若锚点与某个负样本相似度低呢？

假设我们的锚点样本和正负样本的相似度如下：

$[\text{sim}(x,x_1^{\prime }),\text{sim}(x,y_2),\text{sim}(x,y_3),\text{sim}(x,y_4)]$ = [0.25, 0.5, -0.45, -0.1]

那么，随着温度参数的变化，相似度、SoftMax的概率分布和CrossEntropyLoss都是如何变化的：

通过这两个表格，我们可以得到温度系数与Loss的关系：

1. 当锚点与正样本的相似度最高时，温度系数越低，loss越低。
2. 当锚点与某个负样本的相似度最高时，温度系数越低，loss越高。
3. 由1可知，当温度系数较高时，模型的调节相对温和，不论模型是否正确预测正样本，都会调节模型
4. 由2可知，当温度系数较低时，模型的调节比较锐利，模型偏向尽快学会预测正样本，学会后就几乎不再调节模型。

5. 温度系数结论

上述结论都是根据自己的理解与实验得出的，若有不严谨或错误的地方请各位在评论区指出。

温度系数的不同取值有以下结论：

1. 温度参数越小，对比学习效果越强，即对比学习让相似样本距离就会越近，不相似样本距离越远
2. 若想要让样本特征分布均匀，温度参数需要适中，太大和太小都不好。
3. 当锚点与正样本的相似度最高时，温度系数越低，loss越低。
4. 当锚点与某个负样本的相似度最高时，温度系数越低，loss越高。
5. 由1可知，当温度系数较高时，模型的调节相对温和，不论模型是否正确预测正样本，都会调节模型
6. 由4可知，当温度系数较低时，模型的调节比较锐利，模型偏向尽快让学会预测正样本，学会后就几乎不再调节模型。

1,2结论请参考第3节。3,4,5,6结论请参考第4节。

常用的温度系数是 0.05