本文主要是介绍决策树信息增益，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
决策树和集成算法都是树模型
决策树：从根节点一步步走到叶子节点，所有的数据都会落到叶子节点，既可以做分类也可以做回归。
一颗树有三种节点组成，根节点，中间几点，叶子节点。根节点是第一个选择节点，也是最重要的一个选择特征。叶子节点是存放最终的结果。
决策树的训练和测试
训练是建立一棵树。
测试是让数据从根节点走到叶子节点。
如何切分特征：
通过一种衡量标准，计算在不同特征下的值。选择最好的一个作为根节点。
信息增益：g(D,A)=H(D)-H(D|A) 是集合D的信息熵-在特征A条件的信息熵
决策树的三种算法：
1.ID3 信息增益
2.C4.5 信息增益率
3.CART 基尼系数
CART分为回归树和分类树，回归树是平方误差。 分类树是基尼系数，作为sklearn默认选择。
决策树减枝原因：容易出现过拟合，只要树足够大，能够把所有的数据分开。
减枝分为预剪枝和后剪枝。
预剪枝：在建立树的过程中进行剪枝。---实用
后剪枝：在建立决策树以后剪枝。
剪枝策略：
预剪枝策略：限制树的深度，叶子节点的个数，信息增益量的大小等。
后剪枝策略：通过一定的衡量标准，比如叶子节点个数越多，损失越大。
决策树的优缺点：
优点
1.容易理解和解释。
2.不需要很多的数据，不需要归一化。
缺点：
1.过拟和
2.决策树不稳定，数据小的变化可能导致产生不同的树。
改进方法：
1.CART剪纸
2.随机森林
随机森林
随机森林是一种集成方法，通过随机采样样本和随机选取特征生成多颗树，产生多个分类器，通过投票表决的方式产生最终的结果。
随机森林的特点：两个特点又放回的采样，采样样本和采样特征。
随机森林的特点：
1.具有极高的准确率
2.能够运行在大数据集上
3.能够处理高维的样本，不需要降维。
4.能够评估各个特征在分类问题上的重要性。
5.对于缺失值也有很好的效果。
这篇关于决策树信息增益的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
