机器学习——CRAT算法 1、CART算法引入 1.1 从ID3算法到CART算法 在之前的文章机器学习——决策树(ID3)算法，我们主要介绍了使用信息增益来构建决策树的算法。在ID3算法中，我们使用信息增益来选择特征，信息增益大的优先选择，通过信息增益的计算公式我们不难看出，信息增益的计算会涉及到大量的对数计算，计算量大，并且在计算的过程中容易丢失信息，那么我们应该如何对此进行改进呢？这里

回顾 简单理解决策树 通过例子理解决策树构建过程 前面我们介绍了决策树的特征选择，以及根据信息增益构建决策树。 那么决策树的生成又有哪些经典算法呢？本篇将主要介绍ID3的生成算法，然后介绍C4.5中的生成算法。最后简单介绍CRAT算法。 ID3算法 前面我们提到，一般而言，信息增益越大，则意味着使用该属性来进行划分所获得的“纯度”提升就越大。因此，我们可以用信息增益来进行决策树的划分属性