Bagging (bootstrap aggregating) - 集成方法之一

本文主要是介绍Bagging (bootstrap aggregating) - 集成方法之一，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Bagging(装袋法)，bootstrap aggregating(自举汇聚法) 的简称，是一个通过组合多个模型来减少泛化误差的技术。其原理是单独训练数个不同的模型，然后让多个模型在测试集的输出上投票。这是一个在机器学习中普遍应用的被称作model averaging(模型平均) 的策略。使用这种策略的技术被称作ensemble methods(集成方法)。值得一提的是，dropout其实就是一种以低算成本实现装袋法的精妙方法，其通过随机使一些神元失活来构建指数级别的不同的模型。不同之处在于，装袋法每个模型都是独立的，dropout则在模型之间共享一部分参数，以此降低存储指数级别模型所需要的内存。

下面以一张图展示该方法的大致过程：
在这里插入图片描述

Bagging(装袋法)

在原始数据集上通过放回抽样的方法构造k个与原始数据集大小相同的新数据集去训练k个分类器，然后将k个分类器通过一定的组合策略聚合成一个强学习器。在预测时，所有分类器都进行分类，最后对k个结果进行票选(通过某种规则，比如平均)，决定最终的输出。

为了提高模型的差异性，装袋法从训练集上随机抽取数据，而且是有放回的抽取。这意味着对于一个样本，它在某一次采样中被采集到的概率是 $\frac{1}{m}$ ，不被采集到的概率是 $1-\frac{1}{m}$ 。在k次采样中，没有被采集到的概率是 $(1-\frac{1}{m})^k$ 。当 $k\rightarrow\infty$ 时， $(1-\frac{1}{m})^k\rightarrow\frac{1}{e}\approx0.368$ ，略大于三分之一。也就是说，可能有超过三分之一的数据没有被采集到。这些数据称为袋外数据(Out of Bag, OOB)。这些数据没有参与训练，可以用来检测模型泛化能力。

模型平均(model averaging)背后的原理是，不同的模型在测试集上通常不会产生同样的误差。

假设我们有一个包含k个回归器的集合。每个模型在一个样本上的误差是 $\epsilon_i$ ，该误差服从从零均值方差为 $\mathbb{E}[\epsilon_i^2]=v$ 且协方差是 $\mathbb{E}[\epsilon_i \epsilon_j]$ 的多变量正态分布。通过所有集成模型的平均预测误差是 $\frac{1}{k}\sum_i\epsilon_i$ 。集成预测器的平方误差期望是：
在这里插入图片描述
在误差完全相关即 $c = v$ 的情况下，均方误差减少到 v，所以模型平均不会有任何帮助；在错误完全不相关即 c = 0 的情况下，该集成平方误差的期望仅为 $\frac{1}{k}v$ ，这意味着集成平方误差的期望与集成规模k的倒数成正比。换言之，集成平均至少与它的任何成员表现得一样好，并且如果成员的误差是独立的，集成将显著地比其成员表现得更好。