最新整理数据挖掘概念与技术第2版习题答案资料.docx
- 文档编号:5308673
- 上传时间:2022-12-15
- 格式:DOCX
- 页数:20
- 大小:142.29KB
最新整理数据挖掘概念与技术第2版习题答案资料.docx
《最新整理数据挖掘概念与技术第2版习题答案资料.docx》由会员分享,可在线阅读,更多相关《最新整理数据挖掘概念与技术第2版习题答案资料.docx(20页珍藏版)》请在冰豆网上搜索。
最新整理数据挖掘概念与技术第2版习题答案资料
数据挖掘——概念概念与技术
DataMining
ConceptsandTechniques
习题解答
JiaweiHanMichelineKamber著
范明孟晓峰译
1.3假设你是BigUniversity的软件工程师,任务是设计一个数据挖掘系统,分析学校课程数据库。
该数据库包括如下信息:
每个学生的姓名、地址和状态(例如本科生或研究生)、所修课程以及他们的GPA(平均积
分点)。
描述你要选取的结构。
该结构的每个成分的作用是什么?
答:
该应用程序的数据挖掘的体系结构应包括以下主要组成部分:
数据库,数据仓库,万维网或其他信息库:
这是一个或一组包含学生和课程信息数据库、数据仓库、电子表格或其他类型的信息库;
数据库或数据仓库服务器:
根据用户数据挖掘请求,数据库或数据仓库服务器负责提取相关数据;
知识库:
这是领域的知识,用于指导搜索或评估结果模式的兴趣度。
数据挖掘引擎:
这是数据挖掘系统的基本部分,理想情况下由一组功能模块组成,用于执行特征化、关
联和相关分析、分类、预测、聚类分析、离群点分析和演变分析等任务。
模式评估模块:
该成分使用兴趣度度量,并与数据挖掘模块交互,以便将搜索聚焦在有兴趣的模式上。
用户界面:
该模块在用户和数据挖掘系统之间通信,允许用户与系统交互,说明挖掘查询或任务,提供信息以帮助搜索聚焦,根据数据挖掘的中间结果进行探索式数据挖掘。
。
1.4数据仓库和数据库有何不同?
有哪些相似之处?
p8答:
区别:
数据仓库是面向主题的,集成的,不易更改且随时间变化的数据集合,用来支持管理人员的
决策,数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成,是面向操作型的数据库,是组成数据仓库的源数据。
它用表组织数据,采用ER数据模型。
相似:
它们都为数据挖掘提供了源数据,都是数据的组合。
1.5简述以下高级数据库系统和应用:
对象-关系数据库、空间数据库、文本数据库、多媒体数据库、流数据和万维网。
答:
对象-关系数据库的设计是基于面向对象的编程范式的数据是大量对象类和类层次结构组织。
每个实体在数据库中被视为一个对象。
该对象包含一组变量描述的对象,一组消息的对象可以使用的沟通与其他物体或与其余的数据库系统,以及一套方法,每种方法持有的代码实现一个消息。
空间数据库包含空间有关的数据,这可能是代表的形式,栅格或矢量数据。
栅格数据包括n维位图或像素地图,矢量数据是由点,线,多边形或其他种类的图元处理,一些例子包括地理空间数据库(图)数据库,超大规模集成电路芯片设计,以及医疗和卫星图像数据库。
文本数据库包含文本文件或其他长句或段落格式的文字说明,如产品规格、误差或错误报告、警告信息、总结报告、说明或其他文件。
多媒体数据库存储的图像,音频,视频数据,并应用于诸如图像、基于内容的检索、语音邮件系统、视频点播系统、互联网和以语音为基础的用户界面。
流数据是一类新的数据的产生和分析,其中数据动态地从观测平台(或窗口)流进或流出。
特点:
海量甚至可能无限,动态变化,以固定的次序流进或流出,只允许一遍或少数几遍扫描,要求快速响应时间。
如电力供应、网络通信、股票交易、电信、Web点击流、视频监视和气象或环境监控数据。
万维网上提供丰富的、全世界范围内的联机信息服务,其中的数据对象链接在一起便于交互访问。
与之关联的分布式信息服务的例子如:
美国在线,雅虎!
AltaVista等。
1.6定义下列数据挖掘功能:
特征化、区分、关联和相关分析、预测聚类和演变分析。
使用你熟悉的现实生活
精品文档的数据库,给出每种数据挖掘功能的例子。
答:
特征化是一个目标类数据的一般特性或特性的汇总。
例如,学生的特征可被提出,形成所有大学的计算机科学专业一年级学生的轮廓,这些特征包括作为一种高的年级平均成绩(GPA:
Gradepointaversge)的信息,
还有所修的课程的最大数量。
区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。
例如,具有高GPA的
学生的一般特性可被用来与具有低GPA的一般特性比较。
最终的描述可能是学生的一个一般可比较的轮廓,就
像具有高GPA的学生的75%是四年级计算机科学专业的学生,而具有低GPA的学生的65%不是。
关联是指发现关联规则,这些规则表示一起频繁发生在给定数据集的特征值的条件。
例如,一个数据挖掘系统可能发现的关联规则为:
major(X,“computingscience”)?
owns(X,“personalcomputer”)[support=12%,confidence=98%]其中,X是一个表示学生的变量。
这个规则指出正在学习的学生,12%(支持度)主修计算机科学并且拥有一台个人计算机。
这个组一个学生拥有一台个人电脑的概率是98%(置信
度,或确定度)。
分类与预测不同,因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能),而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。
它们的相似性是他们都是预测的工具:
分类被用作预测目标数据的类的标签,而预测典型的应用是预测缺失的数字型数据的值。
聚类分析的数据对象不考虑已知的类标号。
对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。
形成的每一簇可以被看作一个对象类。
聚类也便于分类法组织形式,将观测组织成类分层结构,把类似的事件组织在一起。
数据演变分析描述和模型化随时间变化的对象的规律或趋势,尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类、或预测,这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和基于相似性的数据分析
2.2假设给定的数据集的值已经分组为区间。
区间和对应的频率如下。
年龄
频率
1~5
200
5~15
450
15~20
300
20~50
1500
50~80
700
80~110
44
计算数据的近似中位数值。
解答:
先判定中位数区间:
N=200+450+300+1500+700+44=319;4N/2=1597
•/200+450+300=950<1597<2450=950+1500
•••20~50对应中位数区间。
我们有;£1=20,¥=319几(审朗尸9冋朋攀册沪⑸為则处3D+使用公
mediae-
nidth=20+
^197/2-950"
x30=32.97
式(2.3):
/•median=32.97岁。
2.4假定用于分析的数据包含属性age。
数据元组的age值(以递增序)是:
13,15,16,16,19,20,20,
21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70。
答:
(a)该数据的均值是什么?
中位数是什么?
均值=(13+15+16+16+19+20+20+21+22+22+25+25+25+25+30+33+33+35+35+35+35+36+40+45+46+52+70)/27=29.96
I
X=一V_r=SO9/27=29.96=30(公式2,1)□
护厶
中位数应是第14个,即x14=25=Q2
(b)该数据的众数是什么?
讨论数据的峰(即双峰、三峰等)。
这个数集的众数有两个:
25和35,发生在同样最高的频率处,因此是双峰众数。
(c)数据的中列数是什么?
数据的中列数是最大数和最小数的均值。
即:
midrange=(70+13)/2=41.5。
(d)你能(粗略地)找出数据的第一个四分位数(Q1和第三个四分位数(Q3吗?
数据集的第一个四分位数应发生在25%±,即在(N+1)/4=(27+1)/4=7处。
所以:
Q=20。
而第三个四分位数应发生在75%处,即在3X(N+1)/4=21处。
所以:
C3=35
(e)给出数据的五数概括。
一个数据集的分布的5数概括由最小值、第一个四分位数、中位数、第三个四分位数、和最大值构成。
它给出了分布形状良好的汇总+并且这些数据是:
13、20、25、35、70。
(f)画出数据的盒图。
(g)分位数一分位数图与分位数图的不同之处是什么?
分位数图是一种用来展示数据值低于或等于在一个单变量分布中独立的变量的粗略百分比。
这样,他可以
展示所有数的分位数信息,而为独立变量测得的值(纵轴)相对于它们的分位数(横轴)被描绘出来。
但分位数一分位数图用纵轴表示一种单变量分布的分位数,用横轴表示另一单变量分布的分位数。
两个坐标轴显示它们的测量值相应分布的值域,且点按照两种分布分位数值展示。
一条线(y=x)可画到图中+以增加图像的信息。
落在该线以上的点表示在y轴上显示的值的分布比x轴的相应的等同分位数对应的值的分布高。
反之,对落在该线以下的点则低。
2.7使用习题2.4给出的age数据回答下列问题:
(a)
评述对于给定的数据,
使用分箱均值光滑对以上数据进行光滑,箱的深度为3。
解释你的步骤。
(a)
技术的效果。
使用分箱均值光滑对以上数据进行光滑,箱的深度为3。
解释你的步骤。
评述对于给定的数据,该
该技术的效果。
用箱深度为3的分箱均值光滑对以上数据进行光滑需要以下步骤:
步骤2:
将数据划分到大小为
步骤1对数据排序。
(因为数据已被排序,所以此时不需要该步骤。
箱1:
13,15,16
箱2:
16,19,20
箱3:
20,21,22
箱4:
22,25,25
箱5:
25,25,30
箱6:
33,33,35
箱7:
35,35,35
箱&36,40,45
箱9:
46,52,70
;:
计算每个等频箱的算数均值。
•:
用各箱计算出的算数均值替换每箱中的每个值。
44/3,44/3,44/3
箱2:
55/3,55/3,55/3
箱3:
21,21,21
24,24,24
箱5:
80/3,80/3,80/3箱6:
101/3,101/3,1
35,35,35
箱8:
121/3,121/3,121/3
箱9:
56,56,56
的等频箱中。
3
步骤3
步骤4
箱1:
箱4:
箱7:
(b)
落到簇的集外的值可以被视为离群点。
如何确定数据中的离群点?
聚类的方法可用来将相似的点分成组或“簇”,并检测离群点。
作为选择,一种人机结合的检测可被采用,而计算机用一种事先决定的数据分布来区分可能的离群点。
这些可能的离群点能被用人工轻松的检验,而不必检查整个数据集。
(c)对于数据光滑,还有哪些其他方法?
其它可用来数据光滑的方法包括别的分箱光滑方法,如中位数光滑和箱边界光滑。
作为选择,等宽箱可被用来执行任何分箱方式,其中每个箱中的数据范围均是常量。
除了分箱方法外,可以使用回归技术拟合成函数来光滑数据,如通过线性或多线性回归。
分类技术也能被用来对概念分层,这是通过将低级概念上卷到高级概念来光滑数据。
2.9假设医院检测随机选择的18个成年人年龄和身体脂肪数据,得到如下结果:
23
23
27
27
39
41
47
49
50
%fal
P9.5
P26.5
P7.8
17.8
31-4
25.9
27,4
27,2
31.2
呻
52
P54
54
56
57
58
58
60
61
%fal
34.6
42.5
28.8
33.4
30.2
34.1
32.9
4L2
35J
⑻计算年龄和脂肪百分比的均值、中位数和标准差
年龄均值=(23+23+27+27+39+41+47+49+50+52+54+54+56+57+58+58+60+61)/18=836/18=46.44,中位数=(50+52)/2=51,
标准差=方差的平方根=开根号(1/n[刀(Xi)2-1/n(刀Xi)2])=开根号1/18[2970.44]=12.85.
脂肪百分比均值=28.78,中位数=30.7,标准差=8.99.
q-q图
散布图
(b)绘制年龄和脂肪百分比的盒图
(c)根据这两个属性,绘制散布图,各q-q图
2:
i
23
27
27
3!
)
41
47
49
50
-1.83
-1.51
-1.51
-(L5S
-0.42
0.20 (L2S %fat 9.5 26.5 7.8 17.8 31,4 25.9 27.4 27.2 31.2 -2.14 -0.25 -2,33 -1.22 (k20 -0.32 -GJ5 -0.18 0.27 52 54 54 56 R-— 「58 58 6U 61 (X43 ().59 0.59 0.74 0.82 ().9() 0.90 1.0G L13 %fat : 口百 42.5 28.8 33.4 30.2 34.1 32.9 41.2 35.7 0.65 1.53 0.() 0.51 (1.16 0.59 (J.46 1.38 0.77 (e)计算相关系数(皮尔逊积矩系数).这两个变量是正相关还是负相关? r#=刀(ai-A)(bi-B)/NdAbb=(E(aibi)-NAB)/N 变量呈正相关。 2.10如下规范化方法的值域是什么? 答: (a)min-max规范化。 值域是[new_min,new_max]。 (b)z-score规范化。 值域是[(old_min—mean)/d,(old_max—mean)/d],总的来说,对于所有可能的数据集的值域是(—^,)。 (c)小数定标规范化。 值域是(—1.0,1.0)。 3.3(P97)假定数据仓库包含三维: time,doctor和patient;和两个度量: count和charge;其中,charge 是医生对病人一次诊治的收费。 (a)列举三种流行的数据仓库建模模式 答: 三类模式一般用于建模数据仓库架构的星形模型,雪花模型和事实星座模型。 (b)使用⑻列举的模式之一,画出上面的数据仓库的模式图 timedoctor (limenslon(Abletabkdimension(able 数据仓库的星形模型 (C)由基本方体[day,doctor,patient]开始,为列出2004年每位医生的收费总数,应当执行哪些OLA操 作? 沿课程(course)维从course_id"上卷”至Udepartment。 沿时间(time)维从day"上卷”到year。 取time=2004,对维time作"切片”操作 沿病人(patient)维从个别病人"上卷”到全部病人。 (d)为得到同样结果,写一个SQ查询。 假定数据存放在关系数据库中,其模式为 fee(day,month,year,doctor,hospital,patient,count,charge)。 答: SQ查询语句如下: selectdoctor,SUM(charge) fromfee whereyear=2004 groupbydoctor 3.5(P98)假定数据仓库包含4维: date,spectator,location,和game,和两个度量: count和charge;其中, charge是观众在给定的日期观看节目的付费。 观众可以是学生、成年人或老年人,每类观众有不同的收费标准。 (a)画出该数据仓库的星形模式图。 答: 星形模式图如下: date dimension怡 id Rtr亡曰 city province facttable locationdimensiontable speetatordimensiontable ccnuitry b.由基本方体[date,spectator,location,game]开始,为列出2004年学生观众在GM_Place的总付费,应执行的OLAF操作: 沿时间(date)维从date_id“上卷”到year。 沿时间(game维从game_id"上卷”到全部。 沿时间(location)维从location_id"上卷”至Ulocation_name。 沿时间(spectator)维从spectator_id"上卷”至Ustatus。 以status="students",locationname="GMPlace"andyear=2004作转轴操作 3.6数据仓库可以用星形模式或雪花模式建模。 简略讨论这两种模式的相似点和不同点,然后分析它们的相对做优、缺点。 哪种模式更实用,给出你观点并陈述你的理由。 答: 星形模式或雪花模式的相似点是它们包含一个事实表和一些维表。 它们主要的不同在于,雪花模式 的维表可能是规范化形式,以便减少了冗余,这种表易于维护并节省存储空间。 然而,与巨大的事实表相比,这种空间的节省可以忽略。 此外,由于执行查询需要更多的连接操作,雪花形结构可能降低浏览的性能,这样,系统的性能可能相对的受到影响。 星型模式的优点是简单、这使得它更有效,但它需要更多的空间。 因精品文档 10 此,只要空间的要求不是太大时,星形模式比雪花模式更好,因为通常效率比空间具有更高的优先级。 在工业上,有时可能将数据从一个雪花模式非规范化为星型模式以加快处理速度,另一种选择是保持雪花模式的维表,然后相同数据的当前用户折叠为星形。 4.4假定基本方体有三维A,B,C,其单元数如下: |A|=1000000,|B|=100,|C|=1000.假定每维均等地分块成 部分。 (a)假定每维只有一层,画出完整的立方体的格。 答: 完整的立方体的格如下图 (b)如果每个立方体单元存放一个4字节的度量,若立方体是稠密的,所计算的立方体有多大? 答: 所计算的立方体大小如下: all: 1 A: 1,000,000;B100;C1,000;小计: 1,001,100 AB1,000,000*100=100,000,000;BC100*1,000=100,000;AC1,000,000*1,000=1,000,000,000; 小计: 1,100,100,000 ABC1,000,000*100*1,000=100,000,000,000 总和: 1+1,001,100+1,100,100,000+100,000,000,000=101,101,101,101*4=404,404,404,404字节 (C指出空间需求量最小的立方体中的块计算次序,并计算2-D平面计算所需要的内存空间总量。 答: 顺序计算,需要最少数量的空间B-C-A.如图所示: ABC ALT, 计算二维平面需要的总主内存空间是: 总空间=(100X1,000)+(1,000,000X10)+(100X10,000)=20,100,000单元*4字节/单元=80,400,000字节 4.12考虑下面的多特征立方体查询: 按{item,region,month的所有子集分组,对每组找岀2004年的最小货架寿命, 对价格低于100美元,最小货架寿命在1.25~1.5之间的元组找岀总销售额部分。 (a) P126 画岀该查询的多特征立方体图 RO—1(>=1.25*min(shelf)and<=1.5*min(shelf)) (b)用扩充的SQL表示查询 selectitem,region,month,MIN(shelf),SUM(R1) fromPurchases whereyear=2004 cubebyitem,region,month: R1 suchthat(R1.Shelf>=1.25*MIN(Shelf)andR1.Shelf<=1.5*MIN(Shelf))andR1.Price<100 (c)这是一个分布式多特征立方体吗? 为什么? 答: 不,这不是一个分布式的多特征立方体。 因为在suchthat子句中含有<=的条件。 5.1.Apriori算法使用子集支持性质的先验知识。 (a)证明频繁项集的所有非空的子集也必须是频繁的。 |D| 答: 设s是一个频繁项集,min_sup是最小支持度阀值,任务相关的数据D是数据库事务的集合, 是D有事务量,则有Support_count(s)=min_supx|D|; 再设s'是s的非空子集,则任何包含项集s的事务将同样包含项集s',即: support_count(s')=supportcount(s)=min_supx|D|. 所以,s'也是一个频繁项集。 (b)证明项集s的任意非空子集s'的支持至少和s的支持度一样大。 答: 设任务相关的数据D是数据库事务的集合,|D|是D的事务量,由定义得: 丄.,supporLcount/s) s^ipport(s)———一戸. 设s'是s的非空子集,由定义得: 尸*;心八 由(a)可知: support(s')support(s) 由此证明,项集S的任意非空子集s'的支持至少和S的支持度一样大。 (c) confidence(s=>(l—s))= support⑴ jiTjppcirt(aI 给定频繁项集I和I的子集s,证明规则的置信度不可能大于 答: 设s是l的子集,则 设s'是S的非空子集,则 (I—叭)= 由(b)可知: support_count(s')巨supportcount(s), 此外,confidence(s')=(l-s'))confidence(s)(l-s)) 所以,规则的置信度不可能大于。 5.3设数据库有5个事务。 设min_sup=60%,min_conf=80% TID iteTiiS-buuyht T100 T200 T300 T400 T500 (M^OtN,K,E,¥}{D.O,NtK*E,Y} (M,AiK? E){M,口GK,Y}{C,O,O,K,I.E} ⑻分别使用Apriori Apriori: FP-growth: SeeFigure5.2fortheFP-trea Root 和FP增长算法找出所有频繁项集。 比较两种挖掘过程的效率。 m 3
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 整理 数据 挖掘 概念 技术 习题 答案 资料
![提示](https://static.bdocx.com/images/bang_tan.gif)