本文主要是介绍决策树C4.5算法 c语言实现,决策树之ID3、C4.5、C5.0，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
决策树之ID3，说一个例子，就会明白，拿
Tom M .mitchen 的《Machine Learing》第三章中的例子。
我们先解释一下这张表，表中有14条实例数据，就是我们的训练数据，其中Outlook,Temperature,Humidity
,Wind称作条件属性，PlayTennis 称作是决策属性(标签)。
每一个属性都有各自的值记做：Value(Outlook)={Sunny,OverCast,Rain}，Value(Temperature)={Hot,Mild,Cool}，Value(Humidity)={High,Normal}，Value(Wind)={Strong,Weak}，Value(PlayTennis)={NO,Yes}。
第一个重要的概念：Entropy。
我们数一下 决策属性PlayTennis，一共有两个类别：Yes，No。Yes的实例数是
9，No的实例数是 5。计算决策属性的Entropy(熵)：
,
计算结果为：0.940286
这里的决策属性S的值只有两个值(Yes,No)，当然可以有多个值(s1,s2,s3,...,sk)，这些决策属性的值的概率分别为：p1,p2,p3,...,pk所以决策属性的Entroy的计算公式：
第二个重要的概念：information
gain(信息增益)
我们只拿Outlook条件属性举例，其他的属性一样：
Value(Outlook)={Sunny,OverCast,Rain}：
Outlook是sunny的实例数为5(其中Yes的个数为2，No的个数为3)，占总的实例数为5/14，那么针对sunny的Entropy,
计算结果为：0.97095
Outlook是OverCast的实例数为4(其中Yes的个数为4，No的个数为0)，占总的实例数为4/14，那么针对Overcast的Entropy，
这篇关于决策树C4.5算法 c语言实现,决策树之ID3、C4.5、C5.0的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
