Python数据挖掘学习笔记（5）决策树分类算法----以ID3为例

本文主要是介绍Python数据挖掘学习笔记（5）决策树分类算法----以ID3为例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、相关原理        

        决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。

       在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3、C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

       信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

       总而言之，决策树又叫做分类树，它是一种十分常用的分类方法。同时也是一种监督学习，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类，这样的机器学习就被称之为监督学习。

二、数据准备

     现有若干外卖商户信息示例数据如下：

    

   下载地址：链接：https://pan.baidu.com/s/1sC2tSUJlCN7O1kO8A9tH7g  提取码：0vhf 

三、实现思路

      目标：在已知“是否中餐”、“餐品数”、“是否满减”、“是否有运费”的条件下，预测新商户的外卖销售购买量。

四、编写代码

1、模块准备：

#用来导入数据
import pandas as pda
#用来建立决策树
from sklearn.tree import DecisionTreeClassifier as DTC
#用来可视化决策树
from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO

2、数据准备：

#导入数据
fname="E:/Meal.csv"
dataf=pda.read_csv(fname)
#读取自变量数据，即“是否中餐”、“餐品数”、“是否满减”、“是否有运费”等
x=dataf.iloc[:,1:5].values#除.values还可以使用.as_matrix()，但不推荐
#读取因变量数据，即购买量
y=dataf.iloc[:,5].values

3、数据处理：

      （1） 由于现有的矩阵里的信息都是“高低”、“多少”、“是否”等表述，需将它们转换为数字。

      （2）注意不要拿处理后的矩阵直接dtc训练，因为目前x是object类型的，y是一维数组而不是二维的，因此需要进行格式转换，将它们转换为二维数值矩阵。方法是先将它们转化为数据框，然后再转化为数组并指定格式。

#将矩阵元素转换为数字
for i in range(0,len(x)):for j in range(0,len(x[i])):thisdata=x[i,j]if(thisdata=="是" or thisdata=="多" or thisdata=="高"):x[i,j]=int(1)else:x[i,j]=int(-1)
for i in range(0,len(y)):thisdata=y[i]if(thisdata=="高"):y[i]=1else:y[i]=-1
#先转换为数据框
xf=pda.DataFrame(x)
yf=pda.DataFrame(y)
#再转换为数值数组
x2=xf.values.astype(int)
y2=yf.values.astype(int)

4、建立决策树：

#依据信息熵建立决策树
dtc=DTC(criterion="entropy")
dtc.fit(x2,y2)#导入训练数据

5、可视化决策树：

#可视化决策树，指定四个自变量的名称
with open("E:/dtc.dot","w") as file:export_graphviz(dtc,feature_names=["MealType","ItemNum","MoneyOff","Freight"],out_file=file)

      之后，即可在目标目录下找到可视化的决策树文件dtc.dot，需要安装graphviz进行打开。

五、使用graphviz查看决策树可视化结果

1、安装Graphviz：下载地址：http://down2.opdown.com:8081/opdown/graphviz.zip

2、安装完毕后，进入安装目录的bin文件夹，保存当前的路径地址。

3、将保存的路径地址加入系统环境变量Path，如图：

4、打开CMD，通过cd指令进入代码生成的dtc.dot文件所在目录，输入以下指令并回车：

dot -Tpng dtc.dot -o food.png

   dtc.dot是上面代码生成的决策树可视化文件，food.png是该文件转换的图片文件名称。我的运行截图如下：

5、进入代码生成的dtc.dot的同级目录，可以看到转换的food.png文件已生成：

  

六、可视化结果解释

    以顶层为例：

  

     第一行表示筛选条件，即是否为中餐，由于是表示为1，否表示为-1，因此若为是则向右分支，若为否则向左分支。

     第二行表示信息熵的大小，此处为0.999，信息熵越大，则表示可信度越高。

     第三行表示样本数，此处为29条，也是数据的总数。

     第四行表示下面一层分支的数目，是否中餐的判别中若为是则向右分支共15个，若为否则向左分支共14个。

   然后每往下一层，则表示根据自变量删选了一次，如左侧分支第二层表示是否为中餐的结果，左侧分支第三层表示是否满减的结果，左侧分支第四层表示餐品数的筛选结果，左侧分支第五层表示是否有运费的筛选结果。

七、使用决策树结果进行预测

    现有一个商户数据：“是否中餐”：否、“餐品数”：多、“是否满减”：是、“是否有运费”：否

    要运用决策树对该商户的购买量进行预测：

   （1）首先看到其“是否中餐”为否，则进入左分支。

   （2）再看到其“是否满减”为是，则进入右分支。

   （3）其“餐品数”为多，则进入右分支。

   （4）其“是否有运费”为否，则进入左分支。

    路线如下图：

    

      看到最后的结果：

    

     则可得出结果，销量高的可能性较大，因为value中2>1.

这篇关于Python数据挖掘学习笔记（5）决策树分类算法----以ID3为例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---