数据仓库构建实施工作计划.docx
- 文档编号:7686754
- 上传时间:2023-01-25
- 格式:DOCX
- 页数:9
- 大小:28.11KB
数据仓库构建实施工作计划.docx
《数据仓库构建实施工作计划.docx》由会员分享,可在线阅读,更多相关《数据仓库构建实施工作计划.docx(9页珍藏版)》请在冰豆网上搜索。
数据仓库构建实施工作计划
数据仓库构建实施工作计划
郑疆2008.12.14
一、指导思想
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。
数据仓库系统的原始需求不明确,且不断变化与增加,最初很难确切了解到用户的明确而详细的需求,更不能较准确地预见到以后的需求;同时,数据仓库系统开发又是一个经过不断循环、反馈而使系统不断增长与完善的过程。
因此,采用演化过程来进行数据仓库的开发是比较合适的。
●该模型是显式地把增量模型扩展到需求阶段
●为了第二个构造增量,使用了第一个构造增量来精化需求
软件生存周期-演化模型
数据仓库是在现存数据库系统基础上进行开发,它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源来服务于企业高层领导管理决策分析的需要,归根结底是一种数据驱动的开发。
由于数据仓库系统开发是一个经过不断循环、反馈而使系统不断增长与完善的过程,因此,在数据仓库的开发的整个过程中,需要自始至终决策人员和开发者的共同参与和密切协作,保持头脑灵活、思维开阔,不做或尽量少做无效工作或重复工作。
二、工作计划
数据仓库的设计大体上可以分为以下六个步骤:
1.概念模型设计
2.技术准备工作
3.逻辑模型设计
4.物理模型设计
5.数据仓库生成
6.数据仓库运行与维护
下面以六个主要设计步骤为主线,列出在各个设计步骤中设计的基本内容和工作安排计划。
1.
2.
2.1.概念模型设计
输入:
原有数据库系统
输出:
在原有的数据库的基础上建立了一个较为稳固的概念模型
所需时间:
1.5个月(2008.12-2009.1.31)
因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合,所以数据仓库的概念模型设计,首先要对原有数据库系统加以分析理解,看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等,然后再来考虑应当如何建立数据仓库系统的概念模型。
一方面,通过原有的数据库的设计文档以及在数据字典中的数据库关系模式,可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面,数据仓库的概念模型是面向企业全局建立的,它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。
概念模型的设计是在较高的抽象层次上的设计,因此建立概念模型时不用考虑具体技术条件的限制。
进行概念模型设计所要完成的主要工作是:
1.
2.
2.1.
2.1.1.界定系统边界
数据仓库是面向决策分析的数据库,我们无法在数据仓库设计的最初就得到详细而明确的需求,但是一些基本的方向性的需求还是摆在了我们的面前:
●要做的决策类型有哪些
●决策者感兴趣的是什么问题
●这些问题需要什么样的信息
●要得到这些信息需要包含原有数据库系统的哪些部分的数据
这样,我们可以划定一个当前的大致的系统边界,集中精力进行最需要的部分的开发。
因而,从某种意义上讲,界定系统边界的工作也可以看作是数据仓库系统设计的需求分析,因为它将决策者的数据分析的需求用系统边界的定义形式反映出来。
2.1.2.确定主要的主题域及其内容
在这一步中,要确定系统所包含的主题域,然后对每个主题域的内容进行较明确的描述,描述的内容包括:
●主题域的公共码键
●主题域之间的联系
●充分代表主题的属性组
2.2.技术准备工作
输入:
数据仓库概念模型
输出:
技术评估报告、软硬件配置方案、系统(软、硬件)总体设计方案
所需时间:
0.5个月(2009.2.1-2009.2.15)
管理数据仓库的技术要求与管理操作型数据库的技术要求区别很大,两者所考虑的方面也不同。
也正因为此,我们在一般情况下总是将分析型数据与操作型数据分离开来单独集中存放,也就是用数据仓库来存放。
进行数据仓库开发的技术准备工作包括:
2.2.
2.2.1.技术评估
进行技术评估,就是确定数据仓库的各项性能指标。
一般情况下,需要在这一步里确定的性能指标包括:
●管理大数据量数据的能力
●进行灵活数据存取的能力
●根据数据模型重组数据的能力
●透明的数据发送和接收能力
●周期性成批装载数据的能力
●可设定完成时间的作业管理能力
2.2.2.技术环境准备
一旦数据仓库的体系化结构的模型大体建好后,下一步的工作就是确定我们应该怎样来装配这个体系化结构模型,主要是确定对软硬件配置的要求;我们主要考虑相关的问题:
●预期在数据仓库上分析处理的数据量有多大
●如何减少或减轻竞争性存取程序的冲突
●数据仓库的数据量有多大
●进出数据仓库的数据通信量有多大
根据这些考虑,我们就可以确定各项软硬件的配备要求。
这些配备可能会涉及:
●直接存取设备(DASD)
●网络
●管理直接存取设备(DASD)的操作系统
●进出数据仓库的界面(主要是数据查询和分析工具)
●管理数据仓库的软件,目前选用Oracle数据库管理系统及有关的选件
当DBMS产品不能满足管理数据仓库需要的,还应考虑自己开发有关模块等等。
2.3.逻辑模型设计
输入:
原数据系统、数据仓库概念模型、软硬件配置方案
输出:
对每个当前要装载的主题的逻辑实现进行定义,并将相关内容记录在数据仓库的元数据中,包括:
适当的粒度划分,合理的数据分割策略,适当的表划分,定义合适的数据来源等。
所需时间:
1.5个月(2009.2.16-2009.3.31)
在这一步里进行的工作主要有:
2.3.
2.3.1.分析主题域,确定当前要装载的主题
在概念模型设计中,我们确定了几个基本的主题域,但是,数据仓库的设计方法是一个逐步求精的过程,在进行设计时,一般是一次一个主题或一次若干个主题地逐步完成的。
所以,我们必须对概念模型设计步骤中确定的几个基本主题域进行分析,并选择首先要实施的主题域。
选择第一个主题域所要考虑的是它要足够大,以便使得该主题域能建设成为一个可应用的系统;它还要足够小,以便于开发和较快地实施。
如果所选择的主题域很大并且很复杂,我们甚至可以针对它的一个有意义的子集来进行开发。
在每一次的反馈过程中,都要进行主题域的分析。
2.3.2.确定粒度层次划分
数据仓库逻辑设计中要解决的一个重要问题是决定数据仓库的粒度划分层次,粒度层次划分适当与否直接影响到数据仓库中的数据量和所适合的查询类型。
确定数据仓库的粒度划分,可以使用在粒度划分一节中介绍的方法,通过估算数据行数和所需的DASD数,来确定是采用单一粒度还是多重粒度,以及粒度划分的层次。
2.3.3.确定数据分割策略
在这一步里,要选择适当的数据分割的标准,一般要考虑以下几方面因素:
数据量(而非记录行数)、数据分析处理的实际情况、简单易行以及粒度划分策略等。
数据量的大小是决定是否进行数据分割和如何分割的主要因素;数据分析处理的要求是选择数据分割标准的一个主要依据,因为数据分割是跟数据分析处理的对象紧密联系的;我们还要考虑到所选择的数据分割标准应是自然的、易于实施的:
同时也要考虑数据分割的标准与粒度划分层次是适应的。
2.3.4.关系模式定义
数据仓库的每个主题都是由多个表来实现的,这些表之间依靠主题的公共码键联系在一起,形成一个完整的主题。
在概念模型设计时,我们就确定了数据仓库的基本主题,并对每个主题的公共码键、基本内容等做了描述在这一步里,我们将要对选定的当前实施的主题进行模式划分,形成多个表,并确定各个表的关系模式。
2.3.5.记录系统定义
将相关内容记录在数据仓库的元数据中。
2.4.物理模型设计
输入:
软硬件配置方案、数据仓库逻辑模型
输出:
数据仓库的物理模型
所需时间:
0.5个月(2009.4.1-2009.4.15)
确定数据仓库实现的物理模型,要求必须做到以下几方面:
●要全面了解所选用的数据库管理系统,特别是存储结构和存取方法
●了解数据环境、数据的使用频度、使用方式、数据规模以及响应时间要求等,这些是对时间和空间效率进行平衡和优化的重要依据
●了解外部存储设备的特性,如分块原则,块大小的规定,设备的I/O特性等
这一步所做的工作是:
2.4.
2.4.1.确定数据的存储结构
一个数据库管理系统往往都提供多种存储结构供设计人员选用,不同的存储结构有不同的实现方式,各有各的适用范围和优缺点,设计人员在选择合适的存储结构时应该权衡三个方面的主要因素:
存取时间、存储空间利用率和维护代价。
2.4.2.确定索引策略
数据仓库的数据量很大,因而需要对数据的存取路径进行仔细的设计和选择。
由于数据仓库的数据都是不常更新的,因而可以设计多种多样的索引结构来提高数据存取效率。
在数据仓库中,可以考虑对各个数据存储建立专用的、复杂的索引,以获得最高的存取效率,因为在数据仓库中的数据是不常更新的,也就是说每个数据存储是稳定的,因而虽然建立专用的、复杂的索引有一定的代价,但一旦建立就几乎不需维护索引的代价。
2.4.3.确定数据存放位置
同一个主题的数据并不要求存放在相同的介质上。
在物理设计时,我们常常会按照重要程度、使用频率以及对响应时间的要求对数据进行分类,并将不同类的数据分别存储在不同的存储设备中。
重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上,如硬盘;存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上,如磁盘或磁带。
数据存放位置的确定还要考虑到其它一些方法,如:
决定是否进行合并表;是否对一些经常性的应用建立数据序列;对常用的、不常修改的表或属性是否冗余存储。
如果采用了这些技术,就要记入元数据。
2.4.4.确定存储分配
许多数据库管理系统提供了一些存储分配的参数供设计者进行物理优化处理,如:
块的尺寸、缓冲区的大小和个数等等,它们都要在物理设计时确定。
这同创建数据库系统时的考虑是一样的。
2.5.数据仓库的生成
输入:
原有数据库系统、数据仓库逻辑模型、数据仓库物理模型
输出:
数据已经装入到数据仓库中,可以在其上建立数据仓库的应用
所需时间:
1个月(2009.4.16-2009.5.15)
在这一步里所要做的工作是:
2.5.
2.5.1.接口编程
将操作型环境下的数据装载进入数据仓库环境,需要在两个不同环境的记录系统之间建立一个接口。
建立和设计这个接口似乎只要编制一个抽取程序就可以了,但事实上,在这一阶段的工作中,虽然确实对数据进行了抽取,但抽取并不是全部的工作,这一接口还应具有以下的功能:
●从面向应用和操作的环境生成完整的数据
●数据的基于时间的转换
●数据的凝聚
●对现有记录系统的有效扫描,以便以后进行追加
当然,考虑这些因素的同时,还要考虑到物理设计的一些因素和技术条件限制,根据这些内容,严格地制定规格说明,然后根据规格说明,进行接口编程。
从操作型环境到数据仓库环境的数据接口编程的过程和一般的编程过程并无区别,它也包括伪码开发、编码、编译、检错、测试等步骤。
在接口编程中,要注意:
●保持高效性,这也是一般的编程所要求的
●要保存完整的文档记录
●保持灵活性,要易于改动
●要能完整、准确地完成从操作型环境到数据仓库环境的数据抽取、转换与集成
2.5.2.数据装入
在这一步里所进行的就是运行接口程序,将数据装入到数据仓库中。
主要的工作内容有:
●确定数据装入的次序
●清除无效或错误数据
●数据“老化”
●数据粒度管理
●数据刷新等
最初只使用一部分数据来生成第一个主题域,使得我们能够轻易且迅速地对已做工作进行调整,而且能够尽早地提交到下一步骤,即数据仓库的使用和维护。
在实际应用开发中的现实意义是:
这样既可以在经济上最快地得到回报,又能够通过最终用户的使用、尽早发现一些问题并提出新的需求,然后反馈给设计人员,设计人员继续对系统改进、扩展。
2.6.数据仓库的使用和维护
输入:
已完成数据装入的数据仓库、业务需求
输出:
有用的、感兴趣的模式、知识发现
所需时间:
5个月(2009.5.16-2009.10.31)
数据仓库装入数据之后,需要进行的下一步工作是:
一方面,使用数据仓库中的数据服务于决策分析的目的,也就是在数据仓库中建立起DSS应用;另一方面,根据用户使用情况和反馈来的新的需求,开发人员进一步完善系统,并管理数据仓库的一些日常活动,如刷新数据仓库的当前详细数据、将过时的数据转化成历史数据、清除不再使用的数据、调整粒度级别等。
我们把这一步骤称为数据仓库的使用与维护。
在这一步中所要做的工作有:
2.6.
2.6.1.使用数据仓库
使用数据仓库,即建立DSS应用。
DSS应用主要可分为两类:
●例行分析处理,是指那些重复进行的分析处理,它通常是属于部门级的应用,如部门统计分析,报表分析等等
●启发式分析处理,是指那些经常是随机性很大,由于企业经营者受到某种信息启发而进行的一些即席的分析处理
DSS应用开发大致可分为如下步骤:
●步骤l--确定所需的数据。
为满足DSS应用的要求,我们必须从数据仓库中确定一个可能用到的数据范围。
这是一个试探的过程
●步骤2--编程抽取数据。
根据上面得到的数据范围,编写一个抽取程序来获得这些数据。
为适应分析需求多变的特点,要求所编写的抽取程序应该通用,易于修改
●步骤3--合并数据。
如果有多个数据抽取源,要将抽取来的数据进行合并、提炼,使数据符合分析处理的要求
●步骤4--分析数据。
在上步准备好的数据基础上进行分析处理,并看所得的结果是否满足了原始的要求,如果不能满足,则返回步骤1,开始新的一次循环,否则就准备最终分析结果报告
●步骤5--回答问题。
生成最终分析结果报告。
-般情况下,最终的分析结果报告是在许多次的循环后得到的,因为一次分析处理很少是在一次循环后就完成的
●步骤6--例行化、一次分析处理的最后、我们要决定是否将在上面已经建立的分析处理例行化。
如果建立的分析处理是重复进行的部门级的DSS应用,那么最好是将它例行化,这样在进行下一次同样的分析处理时,不必再重复上述六步的循环过程。
而且,不断地积累这种例行处理,形成一个集合,我们就可以通过组合这些已有的处理来生成新的一个较大的复杂处理,或完成一个复杂处理的一部分
2.6.2.理解需求,改善和完善系统,维护数据仓库
数据仓库的开发是逐步完善的演化的开发过程,它要求:
要尽快地让系统运行起来,尽早产生效益;要在系统运行或使用中,不断地理解需求,改善系统;不断地考虑新的需求,完善系统。
维护数据仓库的工作主要是管理日常数据装入的工作,包括刷新数据仓库的当前详细数据,将过时的数据转化成历史数据.清除不再使用的数据,管理元数据,等等;另外,如何利用接口定期从操作型环境向数据仓库追加数据,确定数据仓库的数据刷新频率,等等。
三、附录
3.
3.1.开发人员所需知识结构
●数据仓库与数据挖掘相关知识
●Oracle数据库、SQL操作、Oracle建立数据仓库操作
●一种程序开发语言
●Generalsense
3.2.可供参考的文献资料
1)相关论文
我已在校图书馆网际数据库中下载了部分有关图书馆数据仓库建立的论文,如有需要可以联系我。
也可以根据自己工作的需要,自行从校图书馆网际数据库下载。
2)有关构建数据仓库方面的经典实用书籍
目前还没有找到,大家可以相互推荐一下。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 构建 实施 工作计划
![提示](https://static.bdocx.com/images/bang_tan.gif)