实战07- 模型融合：利用AdaBoost元算法提高分类性能

本文主要是介绍实战07- 模型融合：利用AdaBoost元算法提高分类性能，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

元算法（meta-algorithm）是对其他算法进行组合的一种方式，即模型融合。

模型融合主要分为三种：Bagging、Boosting和Stacking。
思想：将弱分类器融合成强分类器，融合后比最强的弱分类器更好。
视频导学：https://www.bilibili.com/video/BV1y4411g7ia?p=8
参考：

https://www.cnblogs.com/hithink/p/6424508.html
https://www.cnblogs.com/rongyux/p/5621854.html
注释https://www.cnblogs.com/zy230530/p/6909288.html

单层决策树（decision stump）分类器 -> 运用Adaboost -》处理非均衡分类问题。

7.1 基于数据集多重抽样的分类器

多种分类器的组合成为集成方法（ensemble method）或者元算法（meta-algorithm）。集成方式包括：不同算法集成、同一算法不同设置的集成、数据集不同部分分配给不同的分类器的集成。

bagging：基于数据随机重抽样的分类器构建方法
· 自举汇聚法（bootstrap aggregating），也称为bagging方法。
· 各分类器权重相同
· 并行预测
· 有放回抽取得到S个数据集
· 代表方法：随机森林（random forest）

boosting: 关注被已有分类器错分的数据来获得新的分类器。
· 基于所有分类器结果的加权求和
· 各分类器权重不相同
· 串行顺序预测
· 同一数据集
· 分类器的权重对应于上一轮迭代中的成功度
· 代表方法：AdaBoost， GBDT， XGBoost.

7.2 训练算法：基于错误提升分类器的性能

AdaBoost为例

即 adaptive boosting，自适应boosting。
训练数据中的每个样本，赋予了一个权重，这些权重构成了向量 $D$ ;
为了从所有弱分类器中得到最终的分类结果，AdaBoost为每个分类器分配了一个权重值 $\alpha$ , 这些 $\alpha$ 值基于每个弱分类器的错误率。

在每一轮如何改变训练数据的权值或者概率分布？
提高错分样本的权值，减少分对样本的权值。( $D$ )
通过什么方式组合弱分类器？
通过加法模型将弱分类器进行线性组合，比如adaboost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器权值。( $\alpha$ )
分类正确的样本，权重更改为： $D_i^{t+1} = \frac{D_i^{(t)} e^{-\alpha}}{Sum(D)}$
分类错误的样本，权重更改为： $D_i^{t+1} = \frac{D_i^{(t)} e^{\alpha}}{Sum(D)}$
可统一为： $D_i^{t+1} = \frac{D_i^{(t)} e^{-\alpha y_t h_t}}{Sum(D)}$ ，预测结果 $h_t$ 是 +1 或 -1。

7.3 基于单层决策树构建弱分类器

单层决策树（decision stump，也称为决策树桩），仅基于单个特征来做决策，属于base algorithm。
三层循环：

针对每个特征，如x轴特征，y轴特征，每一列都是一种特征。
针对每个阈值（步长），（rangeMax - rangeMin）/ numSteps
针对阈值下的每种情况，即不等式’lt’或者’gt’.

数组过滤：通过比较predictedVals == labelMat两者是否相等，来赋0值。这里是想把预测错误的位置置为1，正确置为0。如此一来，在后续统计总的error的时候可以直接用weightedError =D.T* errArr 或者更后面用matrix.sum()。最终得到字典、错误率、类别估计值。