本文主要是介绍xgboost兼具线性规模求解器和树学习算法，GBDT 方法只利用了一阶的导数信息，Xgboost 则是对损失函 数做了二阶的泰勒展开，并在目标函数之外加入了正 则项，整体求最优解，用于权衡目标函数的，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Xgboost 是华盛顿大学陈天奇于 2016 年开发的 Boosting 库，兼具线性规模求解器和树学习算法［14］。 它是 GBDT 算法上的改进，更加高效。传统的 GBDT 方法只利用了一阶的导数信息，Xgboost 则是对损失函 数做了二阶的泰勒展开，并在目标函数之外加入了正 则项，整体求最优解，用于权衡目标函数的下降和模型 的复杂程度，避免过拟合，提高模型的求解效率，其步 骤如下: ( 1) 给定数据集 D = { ( xi，yi ) : i = 1，2，…，n，xi∈ Ｒp ，yi∈Ｒ} ，其中 n 为样本个数，每个样本有 P 个特 征。假设我们给定 k( k = 1，2，…，K) 个回归树，xi 表示 第 i 个数据点的特征向量，fk 是一个回归树，F 是回归 树的集合空间，模型可表示为:
GBDT是先产生一个弱学习器 (也叫基学习器)，训练后得到样本的 "残差" (严格来说是负梯度)，然后再产生一个弱学习器并基于上一轮学习器得到的 "残差" 进行训练，不断迭代，最后加权结合所有弱学习器得到强学习器。
这个gblinear是什么意思？
因为对于线性回归来说，stack是没有意义的，这里的gblinear的意思实际上就是用sgd的迭代方法来训练一个LASSO线性模型。此时基于gblinear的xgboost就没有真正的‘boost’，只是一个用sgd求解的普通线性模型。
2.XGBoost与GBDT有什么不同
- 基分类器：XGBoost的基分类器不仅支持CART决策树，还支持线性分类器，此时XGBoost相当于带L1和L2正则化项的Logistic回归（分类问题）或者线性回归（回归问题）。
- 导数信息：XGBoost对损失函数做了二阶泰勒展开，GBDT只用了一阶导数信息，并且XGBoost还支持自定义损失函数，只要损失函数一阶、二阶可导。
- 正则项：XGBoost的目标函数加了正则项， 相当于预剪枝，使得学习出来的模型更加不容易过拟合。
- 列抽样：XGBoost支持列采样，与随机森林类似，用于防止过拟合。
- 缺失值处理：对树中的每个非叶子结点，XGBoost可以自动学习出它的默认分裂方向。如果某个样本该特征值缺失，会将其划入默认分支。
- 并行化：注意不是tree维度的并行，而是特征维度的并行。XGBoost预先将每个特征按特征值排好序，存储为块结构，分裂结点时可以采用多线程并行查找每个特征的最佳分割点，极大提升训练速度。
3.XGBoost为什么使用泰勒二阶展开
- 精准性：相对于GBDT的一阶泰勒展开，XGBoost采用二阶泰勒展开，可以更为精准的逼近真实的损失函数
- 可扩展性：损失函数支持自定义，只需要新的损失函数二阶可导。
4.XGBoost为什么可以并行训练
- XGBoost的并行，并不是说每棵树可以并行训练，XGB本质上仍然采用boosting思想，每棵树训练前需要等前面的树训练完成才能开始训练。
- XGBoost的并行，指的是特征维度的并行：在训练之前，每个特征按特征值对样本进行预排序，并存储为Block结构，在后面查找特征分割点时可以重复使用，而且特征已经被存储为一个个block结构，那么在寻找每个特征的最佳分割点时，可以利用多线程对每个block并行计算。
5.XGBoost为什么快
- 分块并行：训练前每个特征按特征值进行排序并存储为Block结构，后面查找特征分割点时重复使用，并且支持并行查找每个特征的分割点
- 候选分位点：每个特征采用常数个分位点作为候选分割点
- CPU cache 命中优化：使用缓存预取的方法，对每个线程分配一个连续的buffer，读取每个block中样本的梯度信息并存入连续的Buffer中。
- Block 处理优化：Block预先放入内存；Block按列进行解压缩；将Block划分到不同硬盘来提高吞吐
6.XGBoost防止过拟合的方法
XGBoost在设计时，为了防止过拟合做了很多优化，具体如下：
- 目标函数添加正则项：叶子节点个数+叶子节点权重的L2正则化
- 列抽样：训练的时候只用一部分特征（不考虑剩余的block块即可）
- 子采样：每轮计算可以不使用全部样本，使算法更加保守
- shrinkage: 可以叫学习率或步长，为了给后面的训练留出更多的学习空间
7.XGBoost如何处理缺失值
XGBoost模型的一个优点就是允许特征存在缺失值。对缺失值的处理方式如下：
- 在特征k上寻找最佳 split point 时，不会对该列特征 missing 的样本进行遍历，而只对该列特征值为 non-missing 的样本上对应的特征值进行遍历，通过这个技巧来减少了为稀疏离散特征寻找 split point 的时间开销。
- 在逻辑实现上，为了保证完备性，会将该特征值missing的样本分别分配到左叶子结点和右叶子结点，两种情形都计算一遍后，选择分裂后增益最大的那个方向（左分支或是右分支），作为预测时特征值缺失样本的默认分支方向。
- 如果在训练中没有缺失值而在预测中出现缺失，那么会自动将缺失值的划分方向放到右子结点。
也可以参考xgb的作者陈天骐在这个问题里二楼的回应。
GBDT，它是一种基于boosting增强策略的加法模型，训练的时候采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值的残差。
xgboost算法比较复杂，针对传统GBDT算法做了很多细节改进，包括
损失函数、
正则化、
切分点查找算法优化、
稀疏感知算法、
并行化算法设计等等。本文主要介绍xgboost基本原理以及与传统gbdt算法对比总结，后续会基于python版本做了一些实战调参试验。想详细学习xgboost算法原理建议通读作者原始论文与slide讲解。
1.传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 —可以通过booster [default=gbtree]设置参数:gbtree: tree-based models/gblinear: linear models
2.传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。 —对损失函数做了改进（泰勒展开，一阶信息g和二阶信息h,上一章节有做介绍）
3.xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性
—正则化包括了两个部分，都是为了防止过拟合，剪枝是都有的，叶子结点输出L2平滑是新增的。
4.shrinkage and column subsampling —还是为了防止过拟合，论文2.3节有介绍，这里答主已概括的非常到位
（1）shrinkage缩减类似于学习速率，在每一步tree boosting之后增加了一个参数n（权重），通过这种方式来减小每棵树的影响力，给后面的树提供空间去优化模型。
（2）column subsampling列(特征)抽样，说是从随机森林那边学习来的，防止过拟合的效果比传统的行抽样还好（行抽样功能也有），并且有利于后面提到的并行化处理算法。
这篇关于xgboost兼具线性规模求解器和树学习算法，GBDT 方法只利用了一阶的导数信息，Xgboost 则是对损失函 数做了二阶的泰勒展开，并在目标函数之外加入了正 则项，整体求最优解，用于权衡目标函数的的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
