决策树--PPT.pptx
- 文档编号:2351392
- 上传时间:2022-10-29
- 格式:PPTX
- 页数:66
- 大小:2.74MB
决策树--PPT.pptx
《决策树--PPT.pptx》由会员分享,可在线阅读,更多相关《决策树--PPT.pptx(66页珍藏版)》请在冰豆网上搜索。
决策树根据李峰等人的PPT改编课件主要依据李航编写的统计学习方法编制,清华大学出版社另一本参考书:
数据挖掘与数学建模国防工业出版社2010决策树决策树1.1决策树模型与学习1.2特征选择1.3决策树的生成1.4决策树的剪枝1.5CART算法1.1决策树模型与学习决策树模型与学习1.1.1决策树模型1.1.2决策树与if-then规则1.1.3决策树与条件概率分布1.1.4决策树学习1.1.1决策树模型决策树模型什么是决策树?
定义1.1(决策树)分类决策树模型是一种描述对实例进行分类的树形结构。
决策树由结点和有向边组成。
结点有两种类型:
内部结点和叶节点。
内部结点表示一个特征或属性,叶节点表示一个类。
决策树学习算法的特点决策树学习算法的特点决策树学习算法的最大优点是,它可以自学习。
在学习的过程中,不需要使用者了解过多背景知识,只需要对训练实例进行较好的标注,就能够进行学习。
显然,它属于有监督学习。
从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。
决策树学习的主要算法决策树学习的主要算法建立决策树的关键,即在当前状态下选择哪个属性作为分类依据。
根据不同的目标函数,建立决策树主要有一下三种算法。
ID3(J.RossQuinlan-1975)核心:
信息熵C4.5ID3的改进,核心:
信息增益比CART(Breiman-1984),核心:
基尼指数例1.找对象决策树分类的思想类似于找对象。
现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:
女儿:
多大年纪了?
(年龄)母亲:
26。
女儿:
长的帅不帅?
(长相)母亲:
挺帅的。
女儿:
收入高不?
(收入情况)母亲:
不算很高,中等情况。
女儿:
是公务员不?
(是否公务员)母亲:
是,在税务局上班呢。
女儿:
那好,我去见见。
1.1.2决策树与if-then规则由决策树的根结点到叶结点的每一条路径构建一条规则;路径上内部结点的特征对应着规则的条件,而叶结点的类对应着规则的结论。
If-then规则集合的一重要性质:
互斥并且完备1.1.3决策树与条件概率分布将特征空间划分为互不相交的单元或区域,并在每个单元定义一个类的概率分布就构成了一个条件概率分布。
各叶结点(单元)上的条件概率往往偏向某一个类,即属于某一类的概率较大,决策树分类时将该结点的实例强行分到条件概率大的那一类去。
1.1.4决策树学习1.1.4决策树学习目标:
我们需要的是一个与训练数据矛盾较小的决策树,同时具有很好的泛化能力。
决策树学习的损失函数:
(通常是)正则化的极大似然函数。
但是基于损失函数找到全局最优决策树是NP-完全问题。
现实中决策树学习通常采用启发式方法,即局部最优。
具体做法:
每次选择feature时,都挑选择当前条件下最优的那个feature作为划分规则,即局部最优的feature。
1.2特征选择1.2.1特征选择问题特征选择在于选取对训练数据具有分类能力的特征。
如何判断一个特征对于当前数据集的分类效果?
也即确定选择特征的准则。
ID年年龄有工作有工作有自己的有自己的房子房子信信贷情况情况类别1青年否否一般否2青年否否好否3青年是否好是4青年是是一般是5青年否否一般否6中年否否一般否7中年否否好否8中年是是好是9中年否是非常好是10中年否是非常好是11老年否是非常好是12老年否是好是13老年是否好是14老年是否非常好是15老年否否一般否例1.2右表是一个由15个样本组成的贷款申请训练数据。
数据包括贷款申请人的四个特征。
表的最后一列是类别,是否同意贷款,取2个值:
是、否。
希望通过所给的训练数据学习一个贷款申请的决策树,用以对未来的贷款申请进行分类。
特征选择是决定用哪个特征来划分特征空间。
1.2.2信息增益信息增益熵熵-就分类而言,所有成员都属于一类,熵为零;不同类别就分类而言,所有成员都属于一类,熵为零;不同类别数目相等,则熵等于数目相等,则熵等于11,类别数目不等,则熵介于,类别数目不等,则熵介于0,10,1之间。
之间。
条件熵信息增益信息增益的具体公式信息增益算法例1.3对表1.1所给的训练数据集D,根据信息增益准则选择最优特征。
ID年年龄有工作有工作有自己有自己的房子的房子信信贷情情况况类别1青年否否一般否2青年否否好否3青年是否好是4青年是是一般是5青年否否一般否6中年否否一般否7中年否否好否8中年是是好是9中年否是非常好是10中年否是非常好是11老年否是非常好是12老年否是好是13老年是否好是14老年是否非常好是15老年否否一般否1.2.3信息增益比1.3决策树的生成1.3.1ID3算法例1.4对表1.1的训练数据集,利用ID3算法建立决策树ID年年龄有工作有工作信信贷情况情况类别1青年否一般否2青年否好否3青年是好是5青年否一般否6中年否一般否7中年否好否13老年是好是14老年是非常好是15老年否一般否有自己的房子(A3)ID年年龄有工作有工作信信贷情况情况类别4青年是一般是8中年是好是9中年否非常好是10中年否非常好是11老年否非常好是12老年都好是是是否否表1表2有自己的房子是否是是否有工作ID年年龄信信贷情况情况类别3青年好是13老年好是14老年非常好是表3ID年年龄信信贷情况情况类别1青年一般否2青年好否5青年一般否6中年一般否7中年好否15老年一般否表4这里生成的决策树只用到两个这里生成的决策树只用到两个特征(两个内节点),特征(两个内节点),ID3ID3算法容易存在算法容易存在过拟合问题。
过拟合问题。
补充:
如何解决决策树的过拟合问题补充:
如何解决决策树的过拟合问题概念原因解决什么是过度拟合数据过度拟合数据是怎么产生的怎么去解决这个问题补充:
如何解决决策树的过拟合问题补充:
如何解决决策树的过拟合问题概念概念过度拟合(过度拟合(overfittingoverfitting):
如果):
如果决策树对训练样本的特征描述得“过于精确”,无法实现对新样本的合理分析,所以此时它不是一棵分析新数据的最佳决策树。
一棵完全决策树能非常准确地反映训练集中数据的特征,但因失去了一般代表性而无法用于对新数据的分类或预测,这种现象一般称为“过拟合”。
定义:
定义:
给定一个假设H,如果在假设空间上存在另一个假设H,使得在训练集上H的错误率差比H小,而在测试集上H的错误率却比H要大,那么称假设H过度拟合训练数据。
二.产生过度拟合数据问题的原因有哪些?
原因原因11:
样本问题:
样本问题
(1)样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;(什么是噪音数据?
)
(2)样本抽取错误,包括(但不限于)样本数量太少,抽样方法错误,抽样时没有足够正确考虑业务场景或业务特点,等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景;(3)建模时使用了样本中太多无关的输入变量。
原因原因22:
构建决策树的方法问题:
构建决策树的方法问题在决策树模型搭建中,我们使用的算法对于决策树的生长没有合理的限制和修剪的话,决策树的自由生长有可能每片叶子里只包含单纯的事件数据或非事件数据,可以想象,这种决策树当然可以完美匹配(拟合)训练数据,但是一旦应用到新的业务真实数据时,效果是一塌糊涂。
三三.如何解决过度拟合数据问题?
如何解决过度拟合数据问题?
针对原因针对原因11的解决方法:
的解决方法:
合理、有效地抽样,用相对能够反映业务逻辑的训练集去产生决策树;针对原因针对原因22的主要解决方法:
的主要解决方法:
剪枝:
提前停止树的增长或者对已经生成的树按照一定的规则进行后剪枝。
1.3.2C4.5的生成算法C4.5算法与ID3算法相似,C4.5算法对ID3算法进行了改进.C4.5在生成的过程中,用信息增益比来选择特征。
1.4决策树的剪枝算法1.4树的剪枝算法关于剪枝的补充关于剪枝的补充先剪枝先剪枝剪枝是一个简化过拟合决策树的过程。
有两种常用的剪枝方法两种常用的剪枝方法:
先剪枝(先剪枝(prepruningprepruning):
通过提前停止树的构建而对树“剪枝”,一旦停止,节点就成为树叶。
该树叶可以持有子集元组中最频繁的类;有多种不同的方式可以让决策树停止生长,下面介绍几种停止决策树生长的方法:
1.定义一个高度,当决策树达到该高度时就可以停止决策树的生长,这是一种最为简单的方法;2.达到某个结点的实例具有相同的特征向量,即使这些实例不属于同一类,也可以停止决策树的生长。
这种方法对于处理数据中的数据冲突问题非常有效;补充:
关于剪枝补充:
关于剪枝先剪枝先剪枝3.定义一个阈值,当达到某个结点的实例个数小于该阈值时就可以停止决策树的生长;4.定义一个阈值,通过计算每次扩张对系统性能的增益,并比较增益值与该阈值的大小来决定是否停止决策树的生长。
先剪枝方法不但相对简单,效率很高,而且不需要生成整个决策树,适合于解决大规模问题。
该方法看起来很直接,但要精确地估计决策树生长的停止时间并不容易,即选取一个恰当的阈值是非常困难的。
高阈值可能导致过分简化的树,而低阈值可能使得树的简化太少。
关于剪枝的补充关于剪枝的补充后剪枝后剪枝后剪枝(后剪枝(postpruningpostpruning):
它首先构造完整的决策树,允许树过度拟合训练数据,然后对那些置信度不够的结点子树用叶子结点来代替,该叶子的类标号用该结点子树中最频繁的类标记。
相比于先剪枝,这种方法更常用,正是因为在先剪枝方法中精确地估计何时停止树增长很困难。
补充:
关于剪枝的准则补充:
关于剪枝的准则无论是通过及早停止还是后修剪来得到正确规模的树,一个关键的问题一个关键的问题是使用什么样的准则来确定最终正确树的规模:
是使用什么样的准则来确定最终正确树的规模:
1.使用训练集合(TrainingSet)和验证集合(ValidationSet),来评估剪枝方法在修剪结点上的效用。
2.使用所有的训练集合进行训练,但是用统计测试来估计修剪特定结点是否会改善训练集合外的数据的评估性能。
测试来进一步扩展结点是否能改善整个分类数据的性能,还是仅仅改善了当前训练集合数据上的性能。
3.使用明确的标准来衡量训练样例和决策树的复杂度,当编码长度最小时,停止树增长,如MDL(MinimumDescriptionLength)准则。
补充:
关于剪枝的准则补充:
关于剪枝的准则Reduced-ErrorPruning(REP,Reduced-ErrorPruning(REP,错误率降低剪枝)错误率降低剪枝)REP方法是一种比较简单的后剪枝的方法,在该方法中,可用的数据被分成两个样例集合:
一个训练集用来形成学习到的决策树,一个分离的验证集用来评估这个决策树在后续数据上的精度,确切地说是用来评估修剪这个决策树的影响。
这个方法的动机是:
即使学习器可能会被训练集中的随机错误和巧合规律所误导,但验证集合不大可能表现出同样的随机波动。
所以验证集可以用来对过度拟合训练集中的虚假特征提供防护检验。
REPREP错误率降低剪枝错误率降低剪枝该剪枝方法考虑将树上的每个节点作为修剪的候选对象,决定是否修剪这个结点由如下步骤组成:
1:
删除以此结点为根的子树2:
使其成为叶子结点3:
赋予该结点关联的训练数据的最常见分类4:
当修剪后的树对于验证集合的性能不会比原来的树差时,才真正删除该结点训练集合可能过拟合,使用验证集合数据能够对其进行修正,反复进行上面的操作,从底向上的处理结点,删除那些能够最大限度的提高验证集合的精度的结点,直到进一步修剪有害为止(有害是指修剪会减低验证集合的精度)。
Pesimistic-ErrorPruning(PEP,Pesimistic-ErrorPruning(PEP,悲观错误剪枝)悲观错误剪枝)悲观错误剪枝法是根据剪枝前后的错误率来判定子树的修剪。
该方法引入了统计学上连续修正的概念弥补REP中的缺陷,在评价子树的训练错误公式中添加了一个常数,假定每个叶子结点都自动对实例的某个部分进行错误的分类。
把一棵子树(具有多个叶子节点)的分类用一个叶子节点来替代的话,在训练集上的误判率肯定是上升的,但是在新数据上不一定
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 决策树 PPT
![提示](https://static.bdocx.com/images/bang_tan.gif)