了解数据仓库及其应用刘悦华.ppt
- 文档编号:1399668
- 上传时间:2022-10-22
- 格式:PPT
- 页数:66
- 大小:1.42MB
了解数据仓库及其应用刘悦华.ppt
《了解数据仓库及其应用刘悦华.ppt》由会员分享,可在线阅读,更多相关《了解数据仓库及其应用刘悦华.ppt(66页珍藏版)》请在冰豆网上搜索。
目录,数据仓库和数据库的对比数据仓库的体系结构数据仓库的参照结构数据挖掘概述知识挖掘系统的体系结构OLAP技术介绍数据分析模型概述,数据仓库与数据库的对比,OLTP与OLAP的比较,OLAP所用数据来自OLTP数据库进行了预综合和多维化处理OLAP更强调界面的可视化和灵活性可视化:
多维报表,各种统计图形,灵活性:
切片、切块、旋转;逐层细化,,OLAP&OLTP的主要区别
(1),不同的性能需求联机事务处理(OLTP):
快速的相应时间非常重要(1second)在任何时候,数据随时更新,必须保持数据的一致性和完整性联机分析处理(OLAP):
查询可能耗费大量的资源可能使得CPUs和磁盘处于紧张的工作状态操作通常基于某一个时间点的静态的数据“快照”OLAP与OLTP必须实现环境分离OLAP可能导致OLTP系统性能的降低,甚至崩溃例如:
分析查询需要计算所有的销售量为保证数据的一致性,防止脏数据的读出,对销售表进行“加锁”新的销售事务无法提交,OLAP&OLTP的主要区别
(2),不同的数据建模需求联机事务处理(OLTP):
为保证数据的一致性,需要设计规范化的模式复杂的数据模型,包含大量的数据表查询和修改操作相对比较受限联机分析处理(OLAP):
简单的数据模型非常重要允许业务人员执行各类即席查询通常采用非规范化的模型更少的连接操作提高查询性能更少的数据表易于理解数据模式,OLAP&OLTP的主要区别(3),分析需要综合多个不同的数据源OLTP系统主要服务于某一个特定的应用系统例如:
在线商场的订单管理系统OLAP需要集成多个不同的数据源包含销售、订单、采购等OLAP包含历史数据确定长时间范围内的一些模式发现一段时间内的变化情况数据集成是OLAP系统的重点之一,数据仓库的体系结构,数据仓库的概念结构从数据仓库的概念结构看,应该包含:
数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。
虚拟数据仓库结构虚拟数据仓库利用描述了业务系统中数据位置和抽取数据算法的元数据直接从业务系统中抽取查询的数据进行概括、聚合操作后,将最终结果提供给用户,数据集市结构数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库,没有一个独立的数据仓库。
系统的数据不存储在同一数据仓库中,每个主题有自己的物理存储区。
单一数据仓库结构将所有的主题都集中到一个大型数据库中的体系结构。
数据源中数据被按照同一标准抽取到独立的数据仓库中,用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。
分布式数据仓库结构在企业各个分公司具有相当大的独立性时,企业总部设置一个全局数据仓库,各个分公司设置各自的局部数据仓库。
局部数据仓库主要存储各自的未经转换的细节数据,全局数据仓库中主要存储经过转换的综合数据,站点A站点B站点C站点D,全局数据仓库,总部,数据仓库的参照结构,数据仓库的基本功能包含:
数据抽取,数据筛选、清理,清理后的数据加载,设立数据集市,完成数据仓库的查询、决策分析和知识的挖掘等操作。
数据仓库的管理层分成数据管理与元数据管理两部分,主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。
数据仓库环境支持层包含数据传输和数据仓库基础两部分。
数据仓库基本功能层,数据来源主要包含:
业务数据、历史数据、办公数据、Web数据、外部数据以及数据源元数据数据准备区的功能结构部分由数据标准化处理、数据的过滤与匹配、数据的净化处理、标明数据的时间戳、确认数据质量与元数据抽取和创建等操作组成数据仓库的功能结构部分由数据重整和数据仓库创建以及元数据管理组成数据集市/知识挖掘库的功能结构与数据仓库的功能结构极为相似数据仓库的数据存取与使用结构主要为数据仓库的最终用户提供进行决策分析和挖掘知识的功能。
数据仓库的数据存取与使用结构应该包含数据仓库存取与检索、元数据管理以及数据仓库分析与报告,数据仓库的管理层,数据管理层中的数据抽取、新数据需求与查询管理主要负责完成从数据源中抽取数据的管理。
数据仓库中的数据加载、存储、刷新和更新系统则负责对从数据源中所抽取的数据在完成筛选、净化处理以后,将这些数据加载、存储到数据仓库中;捕获数据源中的数据变化,用最新数据充实数据仓库;根据用户的需求和数据仓库管理的要求对数据仓库进行更新等工作。
安全性与用户授权管理系统主要负责数据仓库的安全管理工作。
数据仓库的数据归档、恢复及净化系统主要负责定期对数据仓库中的数据进行归档、备份。
净化系统则负责对从数据源所抽取的数据进行数据的筛选、数据标准的统一、数据内容的统一等各种求精、重整净化工作的管理。
数据仓库的元数据管理层,负责管理数据仓库所使用的元数据,其中包括:
数据仓库、数据集市/知识挖掘库和词汇表管理元数据抽取、创建、存储和更新管理预定义的查询和报表以及索引管理刷新与复制管理,登录、归档、恢复与净化管理,数据仓库的环境支持层,数据传输和传送网络客户/服务器代理和中间件复制系统数据传输的安全保障系统,数据挖掘概述,挖掘过程确定挖掘对象准备数据建立模型数据挖掘结果分析知识应用阶段,业务对象,源数据,集成数据,目标数据,预处理数据,商业模式,知识,应用方案,业务分析人员数据分析人员数据管理人员,数据挖掘的用户,知识挖掘系统的体系结构,知识发现的定义知识发现是用一种简洁的方式从大量数据中抽取信息的一种技术,所抽取的信息是隐含的、未知的,并且具有潜在应用价值。
知识发现可看成是一种有价值信息的搜寻过程,它不必预先假设或提出问题,仍然能够找到那些非预期的令人关注的信息,这些信息表示了不同研究对象之间的关系和模式。
它还能通过全面的信息发现与分析,找到有价值的商业规则。
知识发现意味着在数据仓库或数据集市的几千兆、几万兆字节数据中寻找预先未知的商业模式与事实。
知识发现系统的结构知识发现系统的结构由知识发现系统管理器、知识库、商业分析员、数据仓库的数据库接口、数据选择、知识发现引擎、知识发现评价和知识发现描述等部分组成(下图)。
OLAP技术概念,在线分析处理或联机分析处理(线分析的处理上的OLAP,)是一个应用广泛的数据仓库使用技术。
两个特点,在线性(On_Line),多维分析(Multi_Analysis)OLAP的发展针对特定问题的联机数据查询和分析对原始数据按照用户的观点进行转换处理反映用户眼中问题某一真实方面(“维”)快速、稳定、一致和交互式的存取允许用户对这些数据按照需要进行深入的观察,OLAP的特性,快速性系统能在数秒内对用户的多数分析要求做出反应可分析性用户无需编程就可以定义新的专门计算,将其作为分析的一部分,并以用户所希望的方式给出报告多维性提供对数据分析的多维视图和分析信息性能及时获得信息,并且管理大容量信息,OLAP与数据仓库关系,从OLAP使用的效率角度考虑,设计数据仓库时考虑因素。
尽可能使用星型架构,如果采用雪花结构,就要最小化事实表底层维度表以后的维度表数量。
为用户设计包含事实表的维度表。
维度表的设计应该符合通常意义上的范式约束,维度表中不要出现无关的数据。
事实表中不要包含汇总数据,事实表中所包含的用户需要访问的数据应该具有必需的粒度。
对事实表和维度表中的关键字必须创建索引;同一种数据尽可能使用一个事实表。
保证数据的参考完整性,避免事实表中的某些数据行在立方体进行聚集运算时没有参加进来。
OLAP应用举例,不同时间段的比较(同期比)各种商品本周(本月、本年)的销售情况与以往相比,有何变化?
今后趋势?
排序和统计分类(topN/bottomN)统计每天销售量、销售额和利润最高的10个商场?
客户特定的即席分析(市场分割、即席分组的情况)按照季度统计一下东北地区前四个季度的收入情况?
多维数据模型,多维数据模型又称多维概念视图,通常用Cube来表示。
多维数据模型可以更加直观的表示现实中的复杂关系多维数据模型的基本组成:
维、度量(变量、指标),举例:
计算每一个商场、每个产品的销售额ProductAreaSales,多维数据模型举例,多维数据模型的组成,维(Dimension)维层次路径、维层次、维成员(维实例)、维层次属性事实(Fact)度量(Measure)数据立方体(Cube),维,维:
对数据进行分类的一种结构,以用于从特定的角度观察数据。
(例如:
时间、地区、产品)维的两个用途选择针对期望详细程度的层次的数据分组对细节数据综合(聚集)到相应的详细程度的数据层次,维,维的组织方式:
维层次路径(HIERARCHY)维层次路径由代表不同详细程度的维层次(Level)组成。
维的层次:
特定角度的不同细节程度,维,维层次中包含维成员(DIMENSIONVALUES),维成员树维的一个取值(称为该维的一个成员),每一个维成员属于某一个特定的维层次。
例如:
时间维:
三个层次,日、月、年,维成员:
1999年5月20日、1999年5月;1999年维成员是数据在该维上的位置描述例如:
1999年5月20日销售额表示销售额数据在时间维上的位置(相当于时间轴上的某一点或某一区间)不同维层次的取值的组合(对多层次情况),例如:
5月20日维层次属性(ATTRIBUTES):
维层次上的描述属性,例如产品的“规格”、“颜色”、“销地”、“产地”,维层次关系,定义维层次的聚集和钻取关系简单维层次关系,复杂的维层次关系,较为复杂的维层次关系一个维包含拥有同一底层数据的多条维层次路径维成员树可能是一棵高度不平衡树。
在维层次属性不仅分类属性,同时还拥有描述属性在某些维层次结构中还包含复杂数据类型的维成员,为什么需要维层次关系,不支持层次关系带来的问题增加维的数目,变成非常“稀疏”的状况,维成员属性(维成员的“类”),维成员属性,维成员的描述属性,维成员的“类”按一定的划分标准对维成员全集的一个(分类)划分划分:
即把全集分成了若干子集各子集的和(并)等于全集子集间的交为空,维成员属性,划分标准一般是实体(维成员)的属性(特征),称为类属性例如(产品的)“规格”、“颜色”、“销地”、“产地”一个类属性,对应一个划分;不同类属性,得到不同类划分,维层次和类的区别,表达的含义不同维层次表达变量在该维的综合的级别例:
销售额在时间维上按三个级别(日、月、年)进行综合称为三个维层次父层次的值由其子层次的值综合得到维成员的类表达某一子集维成员的共同特征即:
对应的类属性取相同值例如:
颜色为红色的产品,不同颜色的产品为不同的类同一层次的维成员可划分为类:
例如产品大类中的“家电”、“服装”、“文具”等不同层次的维成员之间不存在类的关系,维层次和类的区别(续1),分析动作不同按维层次进行分析逐层向上综合数据;逐层向下细化数据;按维成员的类进行分析选择类属性对维成员全集进行分类对同类维成员归纳出共同的特性按类进行分析不能跨维层次,只在同层次(兄弟结点)进行将维层次与类交叉组合进行分析(见下图),维层次和类的区别(续2),事实(度量),度量(指标):
数据的实际意义,一般是一个数值度量指标例如:
销售量、销售额,而具体数据(如“10000”)是变量的一个值事实:
存储一个多维数据表达期望分析的主题(目的、感兴趣的事情、事件或者指标等)具有一定的粒度,粒度的大小与维层次相关一个事实中通常包含一个或者多个度量一个度量的两个组件数字型指标聚集函数,Cubes,按照一定维层次结构和度量(事实)的逻辑上的组织其逻辑上相当于一个多维数组,多维数组,多维数组:
一个多维数组表示为:
(维1,维2,.,维n,变量)例如:
(时间、地区、销售渠道、销售额)可扩展维数:
如(时间、地区、销售渠道、商品类型销售额),数据单元(Cell),数据单元(单元格):
多维数组的取值可表示为:
(维1维成员,维2维成员,.,维n维成员,变量的值)例如:
(1997年1月,北京,批发,10000),多维分析的基本分析动作,切片(Slice)从多维数组选定一个二维子集,切出一个“平面”切块(Dice)从多维数组选定一个三维子集,切出一个“立方体”旋转改变一个报告(或页面)显示的维方向钻取根据维层次,改变数据的粒度,切片的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 了解 数据仓库 及其 应用 刘悦华