数据库第16章 数据仓库与数据挖掘.docx

数据库第16章 数据仓库与数据挖掘.docx

《数据库第16章 数据仓库与数据挖掘.docx》由会员分享，可在线阅读，更多相关《数据库第16章 数据仓库与数据挖掘.docx（18页珍藏版）》请在冰豆网上搜索。

数据库第16章数据仓库与数据挖掘

第16章数据仓库与数据挖掘

在市场经济的激烈竞争中，企业必须把业务经营同市场需求联系起来，在此基础上作出科学、正确的决策，以求生存。

为此，企业纷纷建立起自己的数据库系统，由计算机管理代替手工操作，以此来收集、存储、管理业务操作数据。

改善办公环境，提高操作人员的工作效率，实现工商企业的自动化，使得数据库和联机事务处理（OLTP）成为过去十几年来最热门的信息领域。

然而，传统的数据库与OLTP平台是面向业务操作设计的，用户可以在一个OLTP平台上安装数个应用系统。

就应用范围而言，它们的数据很可能不正确甚至互相抵触，而且传统的数据库技术以单一的数据资源即数据库为中心，进行事务处理、批处理、决策分析等各种数据处理工作，难以实现对数据分析的需求，因而并不能很好地支持决策。

为了充分满足分析数据的需求，企业需要新的技术来弥补原有数据库系统的不足，数据仓库（DataWarehousing，DW）应运而生。

它包括分析所需的数据以及处理数据所需的应用程序，建立数据仓库的目的是建立一种体系化的数据存储环境，把分析决策所需的大量数据从传统的操作环境中分离出来，使分散的、不一致的操作数据转换成集成的、统一的信息。

企业内不同单位的成员都可以在此单一的环境之下，通过运用其中的数据与信息，发现全新的视野和新的问题、新的分析与想法，进而发展出制度化的决策系统，并获取更多的经营效益。

作为决策支持系统（Decision-makingSupportSystem，DSS）的辅助支持，数据仓库系统包括三大部分内容：

1数据仓库技术。

2联机分析处理技术（On-LineAnalyticalProcessing，OLAP）。

3数据挖掘技术（DataMining，DM）。

数据仓库可以是合并和组织这些数据，以便对其进行分析并用来支持业务决策。

数据仓库通常包含历史数据，这些数据经常是从各种完全不同的来源收集的（如OLTP系统、传统系统、文本文件或电子表格）。

数据仓库可以组合这些数据，对其进行清理使其准确一致，并进行组织使其便于高效地查询。

16.1数据仓库技术

数据仓库是进行联机分析处理和数据挖掘的基础，它从数据分析的角度将联机事务中的数据经过清理、转换并加载到数据仓库中，这些数据在数据仓库中被合理的组织和维护，以满足联机分析处理和数据挖掘的要求。

16.1.1数据仓库的概念及特点

对于数据仓库的概念，每个研究人员都有自己的理解，还没有形成统一的定义，但各个定义中共同指出了数据仓库的几个主要特点：

（1）面向主题

主题是一种抽象，它是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用，是对企业中某一宏观分析领域所涉及的分析对象，是针对某一决策问题而设置的。

面向主题的数据组织方式就是完整、统一地刻画各个分析对象所涉及的企业的各项数据以及数据之间的联系。

目前，数据仓库主要基于关系数据库实现，每个主题由一组相关的关系表或逻辑视图来具体实现。

主题中的所有表都通过一个公共键联系起来，数据可以存储在不同的介质上，而且相同的数据可以既有综合级又有细节级。

（2）集成的数据

数据仓库中存储的数据是从原来分散的各个子系统中提取出来的，但并不是原有数据的简单拷贝，而是经过统一、综合这样的过程。

主要原因如下：

◆源数据不适合分析处理，在进入数据仓库之前必须经过综合、清理等过程，抛弃分析处理不需要的数据项，增加一些可能涉及的外部数据。

◆数据仓库每个主题所对应的源数据在原分散数据库中有许多重复或不一致的地方，因而必须对数据进行统一，消除不一致和错误的地方，以保证数据的质量。

否则，对不准确甚至不正确的数据分析得出的结果将不能用于指导企业作出科学的决策。

对源数据的集成是数据仓库建设中最关键、最复杂的一步，主要包括编码转换、度量单位转换和字段转换等。

为了方便支持分析数据处理，还需要对数据结构进行重组，增加一些数据冗余。

（3）数据不可更新

从数据的使用方式上看，数据仓库的数据不可更新，这是指当数据被存放到数据仓库之后，最终用户只能进行查询、分析操作，而不能修改其中存储的数据。

（4）数据随时间不断变化

数据仓库的数据不可更新，但并不是说，数据从进入数据仓库以后就永远不变。

从数据的内容上看，数据仓库存储的是企业当前的和历史的数据。

因而每隔一段固定的时间间隔后，操作型数据库系统产生的数据需要经过抽取、转换过程以后集成到数据仓库中。

这就是说，数据仓库中的数据随时间变化而定期地更新。

关于数据仓库的结构信息、维护信息被保存在数据仓库的元数据中，数据仓库维护工作由系统根据元数据中的定义自动进行，或由系统管理员定期维护，用户不必关心数据仓库如何被更新的细节。

（5）使用数据仓库是为了更好的支持制定决策

建立数据仓库的目的是为了将企业多年来已经收集到的数据按照统一的企业级视图组织存储，对这些数据进行分析，从中得出有关企业经营好坏、客户需求、竞争对手情况和以后发展趋势等有用信息，帮助企业及时、准确地把握机会，以求在激烈的竞争中获得更大的利益。

16.1.2数据仓库体系结构

数据仓库系统通常采用三层体系结构，如图16-1所示。

底层为数据仓库服务器，中间层为OLAP服务器，顶层为前端工具。

数据仓库从操作型数据库中抽取数据，抽取过程产生的结构称为“自然演化体系结构”（又称蜘蛛网），它产生的数据缺乏可信性，存在生产率低下，从数据到信息转化的不可行性等问题。

因而需要转变体系结构，体系化的数据仓库环境应该建造在变化的体系结构上。

体系结构设计环境的核心是原始数据和导出数据。

原始数据又称为操作型数据两种基本的数据，导出数据又称为决策支持数据（DSS数据）、分析型数据。

表16-1显示了原始数据与导出数据之间的一些区别。

图16-1数据仓库体系结构

表16-1操作型数据与分析型数据的区别

原始数据/操作型数据

导出数据/DSS数据

面向应用，支持日常操作

面向主题，支持管理需求

数据详细，处理细节问题

综合性强，或经过提炼

存取的瞬间是准确值

代表过去的数据

可更新

不可更新

重复运行

启发式运行

事务处理驱动

分析处理驱动

非冗余性

时常有冗余

处理需求事先可知，系统可按预计的工作量进行优化

处理需求事先不知道

对性能要求高

对性能要求宽松

用户不必理解数据库，只是输入数据即可

用户需要理解数据库，以从数据中得出有意义的结论

以上比较说明原始数据与导出数据之间存在着本质区别，不应该保存在一起。

一个好的操作型数据库不能很好地支持分析决策，一个好的分析型数据库也不能高效地为业务处理服务，因此，应将它们分开，分别组织操作型数据环境和分析型数据环境。

16.1.3数据仓库的分类

按照数据仓库的规模与应用层面来区分，数据仓库大致可分为下列几种：

◆标准数据仓库。

◆数据集市。

◆多层数据仓库。

◆联合式数据仓库。

标准数据仓库是企业最常使用的数据仓库，它依据管理决策的需求而将数据加以整理分析，再将其转换到数据仓库之中。

这类数据仓库是以整个企业为着眼点而建构出来的，所以其数据都与整个企业的数据有关，用户可以从中得到整个组织运作的统计分析信息。

数据集市是针对某一主题或是某个部门而构建的数据仓库，一般而言，它的规模会比标准数据仓库小，且只存储与部门或主题相关的数据，是数据体系结构中的部门级数据仓库。

数据集市通常用于为单位的职能部门提供信息。

例如，为销售部门、库存和发货部门、财务部门、高级管理部门等提供有用信息。

数据集市还可用于将数据仓库数据分段以反映按地理划分的业务，其中的每个地区都是相对自治的。

例如，大型服务单位可能将地区运作中心视为单独的业务单元，每个这样的单元都有自己的数据集市以补充主数据仓库。

数据仓库

销售

数据集市

市场

数据集市

商店

数据集市

用户

用户

用户

图15-2多层数据仓库结构

多层数据仓库是标准数据仓库与数据集市的组合应用方式在整个架构之中，有一个最上层的数据仓库提供者，它将数据提供给下层的数据集市。

多层数据仓库使数据仓库系统走向分散之路，其优点是拥有统一的全企业性数据源，创建部门使用的数据集市就比较省时省事，而且各数据集市的工作人员可以分散整体性的工作开销。

图16-2显示了多层数据仓库的架构。

联合式数据仓库是在整体系统中包含了多重的数据仓库或数据集市系统，也可以包括多层的数据仓库，但在整个系统中只有一个数据仓库数据的提供者，这种数据仓库系统适合大型企业使用。

16.1.4数据仓库的开发

开发企业的数据仓库是一项庞大的工程，有两种方法可以实现。

一种方法是自顶向下的开发，即从全面设计整个企业的数据仓库模型开始。

这是一种系统的解决方法，并能最大限度的减少集成问题，但它的费用高，开发时间长，并且缺乏灵活性，因为使整个企业的数据仓库模型要达到一致是很困难的。

另一种方法是自底向上的开发，从设计和实现各个独立的数据集市开始。

这种方法费用低，灵活性高，并能快速的回报投资。

但将分散的数据集市集成起来，形成一个一致的企业仓库可能会比较困难。

对于数据仓库系统的开发，一般推荐采用增量递进方式，如图16-3所示。

采用增量递进的方式开发数据仓库系统，要求在一个合理的时间内定义一个高层次的企业数据模型，在不同的主题和可能的应用之间，提供企业范围的、一致的、集成的数据视图。

尽管在企业数据仓库和部门集市的开发中，还需要对高层数据模型进行进一步的提炼，但这个高层模型将极大的减少以后的集成问题。

其次，基于上述企业数据模型，可以并行的实现各自独立的数据集市和企业数据仓库，然后还可以构造一个多层数据集市，对不同的数据集市进行集成。

最后，可以构造一个多层数据仓库。

在这个多层数据仓库中，企业数据仓库是所有数据仓库数据的全权管理者，数据分布在各个相关的数据集市中。

16.1.5数据仓库的数据模式

典型的数据仓库具有为数据分析而设计的模式，供OLAP工具进行联机分析处理。

因此，数据通常是多维的，包括维属性和度量属性，维属性是分析数据的角度，度量属性是要分析的数据，一般是数值型的。

包含统计分析数据的表称为事实数据表，通常比较大。

例如“销售情况表”记录了零售商店的销售信息，其中每个元组对应一个商品的销售记录，这就是事实数据表。

“销售情况表”的维可以包括销售的商品、销售日期、销售地点，购买商品的顾客等信息；度量属性可以包括销售商品的数量和销售金额。

数据仓库的架构一般星型架构和雪花型架构有两种。

它们的中心都是一个事实数据表，用以捕获衡量单位业务运作的数据。

（1）星型架构

图15-4星型架构示意图

在星型架构中维度表只与事实表关联，维度表彼此之间没有任何联系。

每个维度表都有一个且只有一个列作为主码，该主码连接到事实数据表中由多个列组成的主码中的一个列，如图16-4所示。

在大多数设计中，星型架构是最佳选择，因为它包含的用于信息检索的连接最少，并且更容易管理。

（2）雪花型架构

用来描述合并在一起使用的维度数据。

事实上维度表只与事实数据表相关联，它是反规范化后的结果。

若将时常合并在一起使用的维度加以规范化，这就是所谓的雪花型架构。

在雪花型架构中，一个或多个维度表可以分解为多个表，每个表都有连接到主维度表而不是事实数据表的相关的维度表，如图16-5所示。

图15-5雪花型架构示意图

16.2联机分析处理

数据仓库是进行决策分析的基础，因此需要有强有力的工具来辅助管理决策者进行分析和决策。

在实际决策过程中，决策者需要的数据往往不是某一指标单一的值，他们希望能从多个角度观察某一指标或多个指标的值，并且找出这些指标之间的关系。

比如，决策者可能想知道“东部地区和西部地区今年6月份和去年6月份在销售总额上的对比情况，并且销售额按10万～20万、20万～30万、30万～40万，以及40万以上分组”。

决策所需的数据总是与一些统计指标（如销售总额）、观察角度（如销售区域、时间）以及级别（如地区、统计值区间划分）的统计（或合并）有关，我们将这些观察数据的角度称为维。

可以说决策数据是多维数据，多维数据分析是决策的主要内容。

但传统的关系数据库系统及查询工具对于管理和应用这样复杂的数据显得力不从心。

联机分析处理（OLAP）是专门为支持复杂的分析操作而设计的，它侧重于决策人员和高层管理人员的决策支持，可以应分析人员的要求快速、灵活地进行大数据量的复杂查询，并且以一种直观易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解市场需求，制定正确方案，增加效益。

OLAP是以数据库或数据仓库为基础，其最终的数据来源与OLTP一样均来自底层的数据库系统，但二者面向的用户不同，数据的特点与处理也明显不同。

OLAP与OLTP是两类不同的应用，OLTP面向的是操作人员和底层管理人员，OLAP面向的是决策人员和高层管理人员；OLTP是对基本数据的查询和增、删、改操作处理，它以数据库为基础，而OLAP更适合以数据仓库为基础的数据分析处理。

OLAP所依赖的历史的、导出的及经综合提炼的数据均来自OLTP所依赖的底层数据库。

OLAP数据较之OLTP数据要多一步数据多维化或综合处理的操作。

例如，对一些统计数据，应首先进行预综合处理，建立不同级别的统计数据，从而满足快速统计分析和查询的要求。

除了数据及处理上的不同之外，OLAP的前端产品和界面风格及数据访问方式也同OLTP不同，OLAP多采用便于非数据处理专业人员理解的方式（如多维报表、统计图形），查询及数据输出更直观灵活，用户可以方便地进行逐层细化及切片、切块、旋转等操作。

而OLTP多为操作人员经常用到的固定表格，其查询及数据显示也比较固定、规范。

OLAP的基本概念包括：

（1）度量属性

度量属性是决策者所关心的具有实际意义的数量。

例如，销售量、库存量等。

（2）维度

图15-6多维数据分析示例

维度（或简称为维）是人们观察数据的角度。

例如，企业常常关心产品销售数据随着时间推移而产生的变化情况，这时企业从时间的角度来观察产品的销售，所以时间就是一个维（时间维）。

企业也时常关心自己的产品在不同地区的销售分布情况，这时他是从地理分布的角度来观察产品的销售，所以地理分布也是一个维（地理维）。

图16-6所示的多维分析示例中有三个维度：

时间、商品类别和地区。

（3）维的层次

人们观察数据的角度（即某个维）还可以存在细节程度不同的多个描述方面，我们称这多个描述方面为维的层次。

一个维往往具有多个层次，如描述时间维时，可以从日期、季度、月份、年等不同层次来描述，那么日期、月份、季度、年等就是时间维的层次；同样，城市、地区、国家就构成了地理维的多个层次。

（4）维度成员

维度的一个取值称为该维的一个维度成员。

如果一个维是多层次的，那么该维的维度成员是在不同维层次的取值的组合。

例如，我们考虑时间维具有日期、月份、年这3个层次，分别在日期、月份、年上各取一个值组合起来，就得到了时间维的一个维度成员，即“某年某月某日”。

一个维度成员并不一定在每个维层次上都要取值，例如图16-6中的上半年、下半年等就是时间维的维度成员。

（5）多维数组

一个多维数组可以表示为：

（维1，维2，…，维n，变量）。

例如，图16-6所示的商品的销售数据是按地理位置、时间和商品类别组织起来的三维立方体，加上变量“销售数量”，就组成了一个多维数组（地区、时间、商品类别、销售量）。

（6）数据单元（单元格）

多维数组的取值称为数据单元。

当多维数组的各个维都选中一个维度成员，这些维度成员的组合就唯一确定了度量属性的一个值。

那么数据单元就可以表示为：

（维1维度成员，维2维度成员，……维n维度成员，变量的值）。

例如，在图16-6的地区、时间和商品类别维上各取维度成员“江苏”、“第2季度”和“家电”，就惟一确定了度量属性“销售量”的一个值（图中为2443），则该数据单元可表示为：

（江苏，第2季度，家电，2443）。

OLAP支持管理决策人员对数据进行深入观察，多维分析。

多维分析是指对以多维形式组织起来的数据采取切片、切块、旋转等各种分析动作，以求剖析数据，使分析者、决策者能从多个角度、多个侧面观察数据库中的数据，从而深入地了解包含在数据中的信息、内涵。

联机分析处理系统通常包括以下基本的分析功能：

（1）上卷（roll-up）

上卷是在数据立方体中执行聚集操作，通过在维层次中上升或通过消除某个或某些维来观察更概况的数据。

例如，图16-7所示的数据立方体（水平轴为商品类别维，垂直轴为时间维，Z轴为地点维）经过沿着地点维的概念层次上卷，由城市上升到地区，就得到了图16-8所示的立方体。

现在销售量不是按照城市分组求值了，而是按照地区分组求值。

也可以通过消除一个或多个维来观察更加概括的数据。

例如，图16-9所示的二维立方体就是通过从图16-7的三维立方体中消除了“地区”维后得到的结果，这是将所有地区的销售数据都累计在一起。

（2）下钻（drill-down）

下钻是通过在维层次中下降或通过引入某个或某些维来更细致的观察数据。

例如，对图16-7所示的数据立方体沿时间维进行下钻，由季度下降到月，就得到了如图16-10所示的数据立方体。

现在的销售数量不是按季度计算，而是按月进行计算。

（3）切片（slice）

切片是在给定的数据立方体的一个维上进行的选择操作，切片的结果是得到了一个二维的平面数据。

例如，在图16-7所示的数据立方体上，使用条件：

时间＝1季度进行选择，就相当于在原来的立方体中切出一片，结果如图16-11所示。

（4）切块（dice）

切块是在给定的数据立方体的两个或多个维上进行的选择操作，切块的结果得到了一个子立方体。

例如，在图16-7所示的数据立方体上，使用条件：

（地区＝“江苏”or“浙江”）

And（时间＝“第一季度”or“第二季度”）

And（商品类型＝“家电”or“食品”）

图15-12图15-7切块后的结果

图15-13图15-11转轴后的结果

进行选择，相当于在原立方体中切出一小块，结果如图16-12所示。

（5）转轴（pivotorrotate）

转轴就是改变维的方向，将一个三维立方体转变为一系列二维平面。

例如，图16-13所示的是图16-11中二维切片的“商品类别轴”和“地区轴”交换位置的结果。

16.3数据挖掘

数据挖掘（DataMining）可定义为从大型数据库中抽取有效的、事先未知的、易于理解的、可操作的、对商业决策有用的信息的过程，即数据挖掘能帮助最终用户从大型数据库中提取有用的商业信息。

数据挖掘与统计学子领域“试探性数据分析”及人工智能子领域“知识发现”和“机器学习”有关。

数据挖掘包含一系列技术，旨在从收集的数据中寻找有用但是尚未被发现的信息。

数据挖掘通过分析大量的未知数据，来识别可能对业务有用的隐藏信息。

因此，数据挖掘的目标是为决策制定创建模型，通过分析过去的活动来预测将来的行为。

数据挖掘支持WilliamFrawley和GregoryPiatetsky-Shapiro（MIT出版，1991年）定义的知识发现，即从数据中提取隐含的、以前未知但潜在有用的重要信息。

数据挖掘应用能调节数据仓库的数据准备和集成能力，还能帮助企业取得持续的竞争优势。

16.3.1数据挖掘过程

数据挖掘能够帮助从数据仓库中提取有意义的新信息，而这些信息不可能仅仅通过查询或处理数据及元数据得到。

有一个很普通却很能说明数据挖掘如何产生效益的例子：

美国加州某个超级连锁店通过数据挖掘技术发现，在下班后前来购买婴儿尿布的顾客多数是男性，他们往往也同时购买啤酒。

于是这个连锁店的经理当机立断地重新布置了货架，把啤酒类商品布置在婴儿尿布货架附近，并在两者之间放上土豆片之类的佐酒小食品，同时，把男士们需要的日常生活用品也就近布置。

这样一来，上述几种商品的销量马上成倍增长。

通过上面的例子可以看出，数据挖掘能为决策者提供重要且有价值的信息或知识，从而产生不可估量的效益。

在数据库知识发现和数据挖掘过程中，可以从数据库或数据仓库的相关数据集合中抽取知识或规律，并从不同的角度进行分析和研究，所发现的知识可以运用到信息管理、查询处理、决策支持、过程控制等许多领域。

现在，数据库知识发现与数据挖掘已经成为一个非常重要和非常活跃的研究领域，它吸引了来自数据库系统、知识库系统、人工智能、机器学习、统计学、空间信息处理、数据可视化等许多领域的研究人员进行跨学科、跨领域的综合研究。

数据挖掘的过程如图16-14所示。

图16-4数据挖掘过程

在进行数据挖掘过程之前需要先确定业务对象。

清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。

挖掘的最后结果是不可预测的，但要探索的问题应是有预见的，如果只是为了数据挖掘而进行数据挖掘则带有盲目性，是不会成功的。

1．数据准备

1）数据的选择：

搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。

2）数据的预处理：

研究数据的质量，为进一步的数据分析作准备，并确定将要进行的挖掘操作的类型。

3）数据的转换：

将数据转换成一个分析模型，这个分析模型是针对数据挖掘算法建立的。

建立一个真正适合数据挖掘算法的分析模型是数据挖掘成功的关键。

2．数据挖掘

对所得到的经过转换的数据进行挖掘，除了选择合适的挖掘算法外，其余一切工作都能自动地完成。

3．结果分析

解释并评估结果。

其使用的分析方法一般应视数据挖掘操作而定，通常会用到可视化技术。

4．知识的同化

将分析所得到的知识集成到业务信息系统的组织结构中去。

16.3.2数据挖掘知识发现

随着DMKD（DataMiningandKnowledgeDiscovery，数据挖掘和知识发现）研究逐步走向深入，数据挖掘和知识发现的研究已经形成了三根强大的技术支柱：

数据库、人工智能和数理统计。

因此，KDD（KnowledgeDiscoveryinDatabase，数据库中的知识发现）大会程序委员会曾经由这三个学科的权威人物同时来任主席。

目前DMKD的主要研究内容包括基础理论、发现算法、数据仓库、可视化技术、定性定量互换模型、知识表示方法、发现知识的维护和再利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。

数据挖掘所发现的知识最常见的有以下五类：

1．广义知识

广义知识（Generalization）是指类别特征的概括性描述知识。

根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知识，反映同类事物共同性质，是对数据的概括、精炼和抽象。

广义知识的发现方法和实现技术有很多，如数据立方体、面向属性的归约等。

数据立方体还有其他一些别名，如“多维数据库”、“实现视图”、“OLAP”等。

这些方法的基本思想是实现某些常用的代价较高的聚集函数的计算，诸如计数、求和、平均、最大值等，并将这些聚集数据存储在多维数据库中。

既然很多聚集函数需要经常重复计算，那么在多维数据立方体中存放预先计算好的结果将能保证快速响应，并可灵活地提供不同角度和不同抽象层次上的数据视图。

另一种广义知识发现方法是加拿大SimonFraser大学提出的面向属性的归约方法。

这种方法以类SQL语言表示数据挖掘查询，收集数据库中的相关数据集，然后在相关数据集上应用一系列数据推广技术进行数据推广，包括属性删除、概念树提升、属性阈值控制、计数及其他聚集函数传播等。

2．关联知识

关联知识（Association）是反映一个事件和其他事件之间依赖或关联的知识。

如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。

最为著名的关联规则发现方法是R.Agrawal提出的Apriori算法。

关联规则的发现可分为两步。

第一