数据仓库与数据挖掘技术第六章决策树.docx

数据仓库与数据挖掘技术第六章决策树.docx

《数据仓库与数据挖掘技术第六章决策树.docx》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘技术第六章决策树.docx（10页珍藏版）》请在冰豆网上搜索。

数据仓库与数据挖掘技术第六章决策树

第6章决策树方法

6.1信息论的基本原理

6.1.1信息论原理

6.1.2互信息的计算

1.定义

2.出现概率

3.条件概率

4.子集概率

5.子集条件概率

6.信息熵

7.互信息

6.2常用决策树算法

6.2.1ID3算法

1.基本思想

图6-1ID3决策树

2.主算法

图6-2ID3算法流程

3.建树算法

4.实例计算

6.2.2C4.5算法

1.信息增益比例的概念

2.连续属性值的处理

3.未知属性值的处理

4.规则的产生

5.案例计算

图6-3天气结点及其分支

图6-4C4.5算法形成的决策树

6.3决策树剪枝

6.3.1先剪枝

6.3.2后剪枝

6.4由决策树提取分类规则

6.4.1获得简单规则

图6-5决策树

6.4.2精简规则属性

6.5利用SQLServer2005进行决策树挖掘

6.5.1数据准备

6.5.2挖掘模型设置

6.5.3挖掘流程

图6-6选择数据挖掘技术

图6-7选择数据源视图

图6-8指定表类型

图6-9指定定型数据

图6-10指定列的内容和数据类型

图6-11完成数据挖掘结构的创建

6.5.4挖掘结果分析

图6-12挖掘得到的“次级”决策树

图6-13挖掘得到的依赖关系图

图6-14“余额”结点的依赖关系图

图6-15与“余额”结点链接强度最强结点示意图

6.5.5挖掘性能分析

图6-16列映射图

图6-17属性“次级”的预测提升图

习题6

1.概率分布［0:

0625;0:

0625;0:

125;0:

5］的熵是多少？

2.汽车保险例子。

假定训练数据库具有两个属性:

年龄和汽车的类型。

年龄——序数分类。

汽车类型——分类属性。

类——L:

低（风险），H:

高（风险）。

使用ID3算法做出它的决策树。

3.简述ID3和C4.5算法之间的异同。

4.简述决策树剪枝的步骤。

5.练习SQLServer2005决策树挖掘模型的构建。