香港科技大学在读博士生张鹏博：借鉴师生互动模式来训练机器学习模型

在学校教学模式中，老师扮演着重要的角色。借鉴老师与学生的师生互动模式，香港科技大学在读博士生张鹏博在他的论文A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+中提出一种基于LUPI 的 random vector functional-link 网络（RVFL+），RVFL+不需要太多的计算硬件以及时间，优势明显。

在近期雷锋网 AI研习社的线上分享会上，他为我们详细解读了A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+这篇论文，介绍了RVFL+和KRVFL+，以及它们的应用。

张鹏博，香港科技大学博士在读，于工程学院工业工程与物流管理系（即统计与运筹学系）从事机器学习的相关研究工作。他的研究兴趣包括机器学习、深度学习、优化、智能系统。 在此之前，他于 2015 年在澳门大学提前获得研究型硕士，并参与优秀毕业答辩，同时担任多个期刊和会议的审稿人。

分享内容：

这次为大家带来我最近的研究成果A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+，主要是分享我的思路，为什么这么做以及具体的应用情况。

我会先介绍这种新型的训练方式Learning using privileged information(LUPI)与传统的不同点。然后介绍之前的主要网络RVLF以及当前流行的随机性算法，之后会介绍新的两种算法RVFL+和KRVFL+。我也给出了一些实验来验证这个方法的表现，还会为大家带来一些未来的可能应用。

在学习中师生互动模式很重要，Learning using privileged information(LUPI)是在机器学习中借鉴了这种模式，来训练我们的机器学习模型。

LUPI第一次提出是在2009年的一篇论文里用来训练SVM，与传统学习模式的不同是在训练阶段，传统的模式由x_i和y_i组成，x_i是指训练集中的feature，y_i是label。新型训练方式中训练集中增加了一项，表示额外信息，类似于学习中老师给我们的信息一样。

下面给出了SVM和SVM+这两种方法的主形式，如果大家熟悉机器学习，那么SVM的形式应该会很熟悉，SVM+与SVM的不同是多引入了一个参数，如公式所示。

接下来给大家介绍Random vector functional-link网络，它是一种前馈单层的神经网络，于1992年提出，示意图如下所示，只有一个隐含层。输入层和输出层直接相连可以有效防止网络过拟合。

为什么RVFL网络很简单，但是工作得很好？下图中是一些解释文献。我们希望训练数据中，同类之间角度小，不同的类之间角度大。RVFL网络是用混合的模式来训练所有网络。

在当今大数据的时代，对于计算的能力要求非常高，这种混合的训练策略计算花费非常便宜，在未来也是研究的热点。

简单介绍几个当前流行的随机方法：前三个Random projection、Random forests、Bagging是十多年前提出来的，大家对于这三个并不陌生。我会主要介绍随机神经网络，有兴趣的同学可以看下我在最后列出的参考文献。

接下来为大家介绍新的RVFL+方法，RVFL网络可以写成如下所示：

我们引进了LUPI这种新型的训练方式来训练我们的RVFL网络：

下一步构建拉格朗日方程，感兴趣的同学可以在论文里看到如何详细的得到输出权重的整个过程。

接下来看一下RVFL+的伪码，下面是详细的输入输出。

我们不仅提出了RVFL+，也提出了它的kernel版本——KRVFL+，这是为了更好的处理非线性问题。KRVFL+相比于RVFL+有两个主要的优势，一是不需要考虑增强节点的个数，二是消除了RVFL+的不稳定性。

感兴趣的同行可以在我的论文里看到KRVFL+的具体方程，在这里就不具体列出来了，简单给大家介绍一下KRVFL+的伪码，如下所示，它与RVFL+比较相似。

现在分析RVFL+的一些统计特征，主要是基于Rademacher复杂性。

现在看实验，我们在14个数据集上评估了模型的效果，包括1个二项分类数据集，8个多项分类数据集和5个回归数据集，今天的讲座里我给大家分享二项分类数据集的实验。

看一下实验结果，可以看到KRVFL+可以获得93.71%的准确度，训练时间只用了0.005s，在所有模型里面是最快的。RVFL+虽然相比高斯kernel的准确度不高，但相比线性kernel还是有很明显的优势。RVFL+不需要太多的计算硬件以及时间。

RVFL+和KRVFL+有如下实际应用，后期大家可以进行相关探索。 

在此提出感谢：

我的引用文献如下：