数据挖掘 第3章数据探索全文.docx
- 文档编号:28998722
- 上传时间:2023-07-20
- 格式:DOCX
- 页数:18
- 大小:21.01KB
数据挖掘 第3章数据探索全文.docx
《数据挖掘 第3章数据探索全文.docx》由会员分享,可在线阅读,更多相关《数据挖掘 第3章数据探索全文.docx(18页珍藏版)》请在冰豆网上搜索。
数据挖掘第3章数据探索全文
第3章:
数据探索
汇总统计
可视化
联机分析处理(OLAP)
目的:
介绍数据探索的基本技术
要求:
掌握常用的汇总统计;掌握典型的可视化技术;理解基本的数据立方体操作
重点:
常用的汇总统计及其适用范围;典型的可视化技术及其使用场合;数据立方体的构造方法
难点:
从可视化图表中分析有用信息
(C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002
引言:
什么是数据探索?
数据探索的核心动机
有助于选择合适的数据预处理和数据分析技术
可以利用人的能力对数据进行直观检查来发现模式
人们能够识别数据分析工具不能获取的模式
与探测性数据分析(ExploratoryDataAnalysis,EDA)领域相关
由统计学家JohnTukey创建
Turkey定义的EDA强调可视化
区别:
EDA中聚类分析和异常检测看作是探测性技术;数据挖掘体系中,聚类分析和异常检测都是主要的描述任务
为了更好理解数据的特性而进行的对数据的初步探测过程
(C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002
鸢尾花数据集
在本章的课程中,经常提到鸢尾花数据集
可以从UCI机器学习库中得到:
//1>.ics.uci.edu/~mlearn/MLRepository.html
由统计学家DouglasFisher提供
三个花种(类标号)
Setosa
Virginica
Versicolour
四个属性(非类标)
萼片宽度(厘米)
萼片长度(厘米)
花瓣宽度(厘米)
花瓣长度(厘米)
Virginica.RobertH.Mohlenbrock.USDANRCS.6> white;background-color: #00aa00'>1995.Northeastwetlandflora: Fieldofficeguidetoplantspecies.NortheastNationalTechnicalCenter,Chester,PA.CourtesyofUSDANRCSWetlandScienceInstitute. (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花数据集(weka中的表示) 三个花种(类标号) Setosa Virginica Versicolour 四个属性(非类标) 萼片宽度(厘米) 萼片长度(厘米) 花瓣宽度(厘米) 花瓣长度(厘米) (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 第一部分: 汇总统计 汇总统计是刻画数据特征的数值 汇总的特征包括频率、位置和散布等 例子: 位置–均值(mean)散布–标准差(standarddeviation) 大部分的汇总统计可以通过顺序访问一次数据计算得到 核心问题: 各种汇总统计适用于什么类型的属性? 各种汇总统计如何计算? (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 频率和众数 属性值的频率是具有该属性值的对象个数与数据集中所有对象的个数的百分比 属性的众数(mode)是具有最高频率的属性值 频率和众数一般用于分类属性 例子: 属性“身高”在所有数据对象中的取值是 {低,中,低,高,低,中,高,低,低,中} frequency(低)=5/ white;background-color: #00aa00'>10=50% frequency(中)=3/ white;background-color: #00aa00'>10=30% frequency(高)=2/ white;background-color: #00aa00'>10=20% mode(身高)=低 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 百分位数 对于有序的数据,百分位数(percentile)更有意义 给定一个序数属性或连续属性x和一个0到 white;background-color: #00aa00'>100之间的整数p,第p个百分位数xp是x的一个值,使得x的p%的观测值小于xp 求第k个百分位数的方法 n个数从小到大排序,求(n- white;background-color: #00aa00'>1)*k%,整数部分i,小数部分j 结果=( white;background-color: #00aa00'>1-j)*第(i+ white;background-color: #00aa00'>1)个数+j*第(i+2)个数 例子 结果 white;background-color: #00aa00'>100 90 80 70 60 50 40 30 20 white;background-color: #00aa00'>10 0 百分位数 花瓣长度 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 位置: 均值和中位数 均值是连续属性值集最常用的位置度量 均值对离群点非常敏感 中位数和截断均值(trimmedmean)也很常用 截断均值: 指定百分数p,丢弃高端和低端各(p/2)%的数据,再计算均值 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 散布: 极差和方差 属性的极差(range)是连续属性最大值与最小值之间的差值(即最大散步) 方差(variance)和标准差(standarddeviation)是连续属性值集的最常用的散步度量 但极差和方差对离群点仍然敏感,故常用其他估计 绝对平均偏差 中位数绝对偏差 四分位数极差 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 第二部分: 可视化 可视化需要将数据转换成可视的形式(图形或表格的形式),使得能够借此分析或报告数据的特征和数据对象或属性之间的关系 为什么数据可视化是很强大的数据探索技术? 人们能够快速分析大量的可视化信息 能发现一般的模式和趋势 能发现离群点和异常模式 核心问题: 有什么可视化技术? 这些技术通常用于发现什么模式或趋势? (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 例子: 海洋表面温度 white;background-color: #00aa00'>1982年7月的海洋表面温度 数万个数据点汇总于一个图片中 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 一般概念/方法: 表示 将数据映射到图形对象 数据对象、它们的属性,以及数据对象之间的联系转换成诸如点、线、形状和颜色等图形元素 比如: 对象通常表示成点 属性可以表示成点的位置或点的特征,如颜色、大小和形状 点之间的关系,比如它们是否形成组、一个点是否离群点,容易察觉 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 一般概念/方法: 安排 安排可视化元素的位置 对理解数据的难易程度有很大影响 例子: (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 一般概念/方法: 选择 删除或不突出某些对象和属性 属性子集的选择 通常使用维归约将属性的个数减少到2到3 或者考虑属性对 对象子集的选择 屏幕不能显示大量数据 可以抽样,但需要保留稀疏区域的数据 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 可视化技术 white;background-color: #00aa00'>1: 直方图 直方图(histogram) 通常用于显示单个数值属性取值的分布 将可能的值分散到箱中,显示落入每个箱中的对象数 使用条形显示箱中对象的个数 直方图的形状依赖于箱的个数 例子: 花瓣宽度( white;background-color: #00aa00'>10个箱和20个箱) (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 二维直方图 显示两个数值属性取值的联合分布 例子: 花瓣宽度和花瓣长度 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 可视化技术2: 盒状图 盒状图(boxplots) 显示单个数值属性取值的分布(通过百分位数的位置) 下图显示盒状图的基本部分 离群点 第 white;background-color: #00aa00'>10个百分位数 第25个百分位数 第75个百分位数 第50个百分位数 第90个百分位数 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 盒状图的例子 盒状图可以用于比较属性 所有鸢尾花 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 可视化技术3: 散布图 散布图(scatterplots) 显示数据集中两三个属性之间的关系 结合类标号可以显示属性将类分开的程度 属性值决定绘制点的位置 最通用二维散布图,有时也使用三维散布图 通常,其他属性可以使用点标记的大小、形状和颜色等表示 可以使用散布图阵列汇总多对属性的关系 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花属性的散布图阵列 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 可视化技术4: 等高线图 等高线图(contourplots) 可视化空间数据,显示单个数值属性取值在空间中的分布 对于三维数据,两个属性决定平面上的位置,第三个属性具有连续值 等高线将平面划分成一些区域,区域中的第三个属性的值相等 常见例子是显示地面位置海拔高度的等高线图 能够显示温度、降雨量、气压,等等 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 等高线图的例子 摄氏度 white;background-color: #00aa00'>1998年 white;background-color: #00aa00'>12月的海洋表面温度等高线图 (地面温度设定为0℃) (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 可视化技术5: 矩阵图 矩阵图(matrixplots) 显示(高维的)数据矩阵(或相似矩阵) 若不同的属性具有不同的值域,则可对属性标准化 ? ? Bstyle='color: white;background-color: #00aa00'>1防止具有最大量值的属性在视觉上左右图形 若类标号已知,则重新排列数据矩阵的次序,使同类的所有对象在一起 ? ? Bstyle='color: white;background-color: #00aa00'>1使得容易检查一个类的所有对象是否在某些属性上具有相似的属性值 若类标号已知,对相似矩阵的行列排序,使得同类的所有对象在一起 ? ? Bstyle='color: white;background-color: #00aa00'>1可以目视评估每个类的内聚性,与其他类的分离性 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花数据集的数据矩阵图 标准化值 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花数据集的相关矩阵图 相关度 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 可视化技术6: 平行坐标图 平行坐标(parallelcoordinates) 用于描绘高维数据的属性值 不使用正交的坐标轴,而使用平行坐标轴 每个对象的属性值在对应的坐标轴上以点表示,并用线连接这些点 于是,每个对象表示为一条线 通常这些线能将对象分成少数几组,其中每个组内的具有类似的属性值 属性的次序对揭示出这些对象组很重要 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花数据集的平行坐标图 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 其他可视化技术: 星形坐标和Chernoff脸 星形坐标(starcoordinates) 与平行坐标图类似,但坐标轴从中心点展开 使用线连接对象的各个属性值,形成一个多边形 Chernoff脸 HermanChernoff提出的方法 将每个属性与脸部的一个特征关联 属性值决定对应脸部特征的外观 每个对象是一个脸 依赖人类的能力去区分脸部 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花数据集的星形坐标图 Setosa Versicolour Virginica 萼片长度: 右萼片宽度: 上花瓣长度: 左花瓣宽度: 下 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 鸢尾花数据集的Chernoff脸图 Setosa Versicolour Virginica 萼片长度: 脸部大小萼片宽度: 前额/颚的相对弧长花瓣长度: 前额形状花瓣宽度: 颚的形状 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 第三部分: OLAP 联机分析处理(On-LineAnalyticalProcessing,OLAP)是由关系数据库之父E.F.Codd提出的 On-Line(联机/在线): 快速响应用户的请求 关系数据库使用表单表示数据,而OLAP使用多维数组表示数据 这种数据表达方式早期在统计学和其他领域存在 引入多维数组的原因: 这种数据表达方式有更加简单的数据分析和探测技术 核心问题: 如何从数据库表单构建多维数组? 如何构建数据立方体? (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 创建多维数组 将表单数据转换成多维数组的两个核心步骤: 首先确定维和分析目标 用作维的属性必须是分类属性,即具有离散值 目标属性是定量的,可以是一个计数或连续值 目标属性可以是具有相同属性值的对象个数 然后填充单元格 将表的每一行映射到多维数组的一个单元格,该单元格的值是目标属性的值 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 例子: 用多维数组表示鸢尾花数据集 如何由花瓣长度、花瓣宽度和花种构造多维数组 离散化花瓣长度和花瓣宽度,得到低(low),中(medium),高(high)三个分类值 以上述三个属性的不同值组合的出现次数作为目标属性 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 OLAP: 创建数据立方体 创建数据立方体是OLAP的核心操作 数据立方体=多维数组+所有可能的聚集量 可能多于或小于三个维 每个维(属性)的取值个数不必相等 可能的聚集量是指固定某些维的值,在其他维上汇总的结果 比如边缘总和 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 数据立方体例子 考虑一个数据集,其记录了不同产品在不同日期和不同地点的销售额 该数据集可以表示为三维数组 包含 3个二维的聚集量(3选2),3个一维的聚集量,和 white;background-color: #00aa00'>1个零维的聚集量 (所有产品在所有日期和 所有地点的销售总额) (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 数据立方体例子(续) 下表显示了其中 white;background-color: #00aa00'>1个二维聚集量,2个一维聚集量和零维聚集量 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 数据立方体的操作: 维归约和转轴 维归约(dimensionalityreduction): 通过某些维的数据进行聚集,来删除这些维 例: 针对销售地点进行维归约——得到由日期和产品ID构成的二维数据 与数据预处理技术中的维归约的区别: 尺度改变vs属性空间变换 转轴(pivoting): 在除两个维之外的所有维上聚集,得到一个二维交叉表 例: 保留日期和产品ID (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 转轴例子 在日期和产品ID上转轴的结果 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 数据立方体的操作: 切片和切块 切片(slicing): 通过对一个或多个维指定特定的值,从整个多维数组中选择一组单元 例: Jan white;background-color: #00aa00'>1,2004的切片——二维数据,每个单元格记录Jan white;background-color: #00aa00'>1,2004某个产品在某个地点的销售额 例: Jan white;background-color: #00aa00'>1,2004和产品 white;background-color: #00aa00'>1的切片——一维数据,每个单元格记录Jan white;background-color: #00aa00'>1,2004产品 white;background-color: #00aa00'>1在某个地点的销售额 切块(dicing): 通过指定属性值区间选择单元子集——等价于由整个数组定义子数组 例: Jan white;background-color: #00aa00'>1,2004到Jan3 white;background-color: #00aa00'>1,2004的切块——二维数据,每个单元格记录Jan white;background-color: #00aa00'>1,2004到Jan3 white;background-color: #00aa00'>1,2004期间某个产品在某个地点的销售总额 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 切片的作用 多维数组的切片使用下面的表单表示 Setosa的切片 Virginica的切片 Versicolour的切片 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 数据立方体的操作: 上卷和下钻 属性值通常具有层次结构的性质 日期: 年、月、周 地点: 洲、国家、省份、城市 产品: 各种类别,比如服装、电子产品和家具 上述类别可以组织成树或格 比如年由月组成,而月由日组成 树 格 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 数据立方体的操作: 上卷和下钻(续) 层次结构的存在允许在数据立方体中作上卷(rollup)和下钻(drilldown)操作 对于销售数据,我们可以按月聚集(上卷)所有日的销售额 给定时间为月份划分的数据视图,我们可以将月销售额分解(下钻)成日销售额 同样,我们可以针对地点属性作上卷或下钻操作 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 本章总结 汇总统计 分类属性: 频率、众数 序数属性或连续属性: 百分位数 连续属性 位置: 均值、中位数、截断均值 散布: 极差、方差、标准差 可视化技术 单个属性取值的分布: 直方图、盒状图、等高线图 多个属性取值的分布: 散布图、矩阵图、平行坐标图、星形坐标、Chernoff脸 联机分析处理(OLAP) 数据立方体 构造: 多维数组+聚集量 基本操作: 维归约和转轴、切片和切块、上卷和下钻 (C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002 作业 P86: white;background-color: #00aa00'>16(只需要构造数据立方体,不需要判断稠密或稀疏) 做在作业本上 下周四(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据挖掘 第3章数据探索全文 数据 挖掘 探索 全文
![提示](https://static.bdocx.com/images/bang_tan.gif)