oracle与ibm的数据仓库比较.docx

oracle与ibm的数据仓库比较.docx

《oracle与ibm的数据仓库比较.docx》由会员分享，可在线阅读，更多相关《oracle与ibm的数据仓库比较.docx（12页珍藏版）》请在冰豆网上搜索。

oracle与ibm的数据仓库比较

数据仓库比较

OraclevsDB2

1文档简介

1.1文档目的

此文档，用来介绍Oracle的数据仓库产品与IBM公司数据仓库产品的比较文档。

通过本文，使开发团队及最终使用者对两个数据仓库有初步的认识，为数据仓库及相关产品的选择提供依据。

1.2文档X围

所以文中没有具体实施的细节，适用读者：

⏹开发人员

⏹项目经理

⏹开发经理

⏹最终用户

1.3缩写约定

缩写

描述

IDS

InternetDeveloperSuite

OWB

OracleWarehouseBuilder

1.4参考文档和文献

编号

文档名称

版本

日期

1

DB2vsOracle（BI）

2

DataWarehouseCenterApplicationIntegrationGuide

8.2

3

1.5文档概述

本文档主要是从各各角度对ORACLE的数据仓库和IBM的数据仓库的分析,下面就两方面的产品做一下简单的概述:

IBM IBM公司提供了一套基于可视数据仓库的商业智能（BI）解决方案，包括：

Warehousemanager、Essbase/DB2OLAPServer5.0、IBMDB2UDB，以及来自第三方的前端数据展现工具（如BO）和数据挖掘工具（如SAS）。

其中，Warehousemanager是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。

Essbase/DB2OLAPServer支持“维”的定义和数据装载。

Essbase/DB2OLAPServer不是ROLAP（RelationalOLAP）服务器，而是一个（ROLAP和MOLAP）混合的HOLAP服务器，在Essbase完成数据装载后，数据存放在系统指定的DB2UDB数据库中。

严格说来，IBM自己并没有提供完整的数据仓库解决方案，该公司采取的是合作伙伴战略。

也就是说IBM公司在展现和多维分析上留有接口,所有第3方的公司可以利用这个接口来连接到IBM的系统中提取想要的数据.例如，它的前端数据展现工具可以是BusinessObjects的BO、Lotus的Approach、Cognos的Impromptu或IBM的QueryManagementFacility；多维分析工具支持ArborSoftware的Essbase和IBM（与Arbor联合开发）的DB2OLAP服务器；统计分析工具采用SAS系统。

Oracle Oracle数据仓库解决方案主要包括OWB和OracleDiscoverer两个部分。

然而Express是和Oracle8i配合使用的OLAPServer。

从Oracle9i开始（包括10g），Oracle把OLAPServer整合进了数据库，作为了数据库的一个选件，OracleExpressServer是一个MOLAP（多维OLAP）服务器，它利用多维模型，存储和管理多维数据库或多维高速缓存，同时也能够访问多种关系数据库；OWB（Warehousebuilder）可以完成数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度以及多维模型的建立;OracleDiscoverer属于查询工具是专门为最终用户设计的，分为最终用户版和管理员版。

Discoverer是Oracle的OLAP展示工具，无需编程。

1.6数据仓库

ORACLE采用Cluster体系结构，多个节点共享硬盘，存在磁盘I/O瓶颈，可伸缩性较差，少见超过4个节点的实例。

ORACLE基本上没有真正TB级的数据仓库，客户往往被要求将其海量数据分解到多个数据库中。

IBM采用MPP体系结构，每个节点独享各自的硬盘空间，各个节点间通过高速网络交换数据。

可伸缩性强，最多可以扩充到1000个节点。

国内有32节点的实例，国外有512节点的实例。

每个数据库中单个表的大小可以达到512GB*1000=500TB。

在全球X围有许多TB级的数据仓库。

1.7ETL工具

ORACLE的ETL工具使用的是OracleWarehouseBuilder（OWB），此工具中做维过程就是构建星形结构的过程，在作mapping，执行的过程则是数据抽取的过程，全都用OraclewarehouseBuilder来实现。

OWB全部开发过程通过图形界面完成，对于简单的数据转换实现简单，开发速度快。

但是对于复杂的转换过程，由于整个转换过程全部都是由工具完成，用户不能干涉，导致在转换中一些复杂查询速度缓慢，而且没有可能优化。

IBMWarehouseManager是IBM数据仓库解决方案的重要组成部分，它主要由以下几部分功能组成：

数据访问，数据转换，数据分布，数据存储，靠描述性数据查找和理解数据，显示、分析和发掘数据，数据转换过程的自动化及其管理。

它缩短了复杂的海量数据与有洞察力的商务决策之间的差距。

IBM的WarehouseManager可获取的数据源可以是DB2家族中的任一数据库，也可以是Oracle、Sybase、Informix、SQLServer数据库和IMS、VSAM文件系统；存放数据仓库的数据库可以是DB2UDBforWindowsNT、OS/2、AIX/600、HP-UX、SunSolaris、SCO、SINIX和DB2/400、DB2forOS/390；WarehouseManager的管理平台为WindowsNT和OS/2；而且以上适用的平台仍在不断地扩展。

1.8OLAP

DB2OLAPServer

在线分析处理（OLAP）在IBM的商务智能中扮演着重要角色，IBM为此提供一个分析工具--DB2OLAPServer，深入最终用户的业务，对桌面上的数据进行实时操作。

DB2OLAPServer是一套独特的商务工具，能够快速地分布传统监视和报告X围之外的应用程序数据。

IBMDB2OLAPServer是一种功能强大的工具，结合了业界领先的ArborEssbaseOLAP功能以及DB2的可靠性、可管理性和访问能力。

ArborEssbase是OLAP市场领先的厂商。

同其它OLAP相比，有更多的前端工具和应用程序利用了EssbaseAPI，使其成为事实上的业界标准。

同大多数基于SQL的应用程序结合时，DB2OLAPServer和WarehouseManager将为端用户提供更多的前端工具和业务智能应用程序选择余地。

如今，用户可以享受到多种OLAP应用程序的优势，如通过Arbor的OLAP引擎集成预算功能，充分利用机构在相关技术上的投资，管理基本设施和DB2数据。

通过集成IBM的WarehouseManager和DB2OLAPServer，这套解决方案将具有三方面的重要价值：

完全、自动地把OLAP集成到数据仓库，数据抽取和生成自动地由规则和数据源支持，直接进入DB2OLAPServer的立方体。

利用WarehouseManagerOLAP版本还有一项附加收益，就是在可视化数据仓库上创建了一个中间信息仓库。

这个中间数据仓库包含干净、抽取的数据，用来在OLAP系统上装载多维数据。

一旦OLAP系统装载并上线，或者作为干净数据源来进行OLAP以外的分析比如查询客户地址等，这些中间数据就可以废弃。

DB2OLAPAnalyzer使用DB2OLAPAnalyzer，可以达到企业的"商业智能化"，并提高信息技术组织的效率。

信息技术人员可以让用户利用分析和报表的功能获得他们所需的信息，而不会失去对信息、数据完整性、系统性能和系统安全的控制。

1.9展示工具

Oracle的展示工具是使用Oracle公司的discover工具，使用此工具，有某些局限性，实现方式不灵活，且需使用专用前端工具，开发复杂。

IBM采用业界领先的多维分析服务器OLAPServer和智能挖掘工具IntelligentMiner。

开放的前端界面和开发接口。

IBM的展示没有特定的工具，而是提供标准的数据借口，它可以采取第三方的展现工具，或者独立开发展现工具，比较灵活的实现前端的展现过程。

2开发过程

2.1Oracle的开发过程

ORACLE的开发过程主要分为两大部分:

1.OWB开发2.IDS开发

一.OWB开发过程:

1在开发之前必须先建立Owb中的两个资料档案库，一个叫repository，另一个叫runtimerepository（运行时资料档案库）。

其中repository用来存放owb设计过程中的对象。

Runtimerepository用来存放运行所需的数据，包括元数据、映射定义、转换规则等等。

2每个资料档案库都有相应的用户。

一般来说至少需要创建四个用户：

repository所有者、runtimerepository所有者、runtimerepository访问者、目标数据库所有者。

3用所有者用户登陆到OWB以后就可以创建一个新的project,在新的project里需要创建数据源（soruce）,目标库（target）,位置（location）

4系统配置完成后,进入到开发阶段,首先需要制作维表（dimension）,此操作的作用是定义出维表的表结构以及维表的层次.部署的时候系统会在目标数据库内创建一个维表（table）用来存放纬度数据.

5维表定义完成后,需要定义维表对应的映射（mapping）,此操作的作用是制定从数据源（soruce）抽取符合那些条件的数据放到维表中.在部署的时候系统会在目标数据库内创建一个包（package）,

（维表和维表的mapping是一一对应的）

6所有维表都定义完成后,需要定义事实表（cube）,此操作的作用是定义出事实表的表结构以及事实表和维表的关系（也就是星型结构）.部署的时候系统会在目标数据库内创建一个事实表（table）用来存放度量值.

7.事实表定义完成后,需要定义事实表对应的映射（mapping）,此操作的作用是制定从数据源（soruce）抽取符合那些条件的数据放到事实表中.在部署的时候系统会在目标数据库内创建一个包（package）,

（事实表和事实表的mapping是一一对应的）

8执行所有部署成功的维表的mapping,向维表内插入数据,成功后在执行所有部署成功的事实表的mapping,向事实表内插入数据.

ORACLE的owb的整个开发过程完成了数据的抽取.转换.装载（ETL）和星型结构的构建,在owb的所有操作没有脱离开ORACLE的数据库.

二.IDS开发过程:

1在owb的开发告一段落后,我们就可以进入到展现工具的开发过程中来,首先我们需要进入IDS的Discovereradministrator里,在这里制定一个EUL用户,这个EUL用户是用来是用来管理desktop的,还做一些层次管理,例如可以制定一些计算方式和管理那些数据可以显示给用户那些数据不可以显示给用户看.

2在Discovereradministrator里完成了制定工作后,我们就可以进入IDS的另一个工具进行展现方面的开发了（desktop）,进入这个工具后,我们开始制作展现需要的表单.

3.在desktop里你所能看到的所有数据项都是EUL用户给你的权限,你可以根据客户的要求去制作表单,增加一些特殊的计算项,在这里你可以使用ORACLE公司提供给你的所有聚集函数.

ORACLE的ids工具主要是用来满足展现方面的需要,而desktop是开发表单的主要工具.

2.2DB2的开发过程

IBM的开发过程主要分为三大部分:

1warehousemanager开发2olapserver开发3BI开发

一.Warehousemanager开发过程:

1.在DB2数据库内通过II工具和ORACLE数据库做好映射,将ORACLE数据库内的所有表映射到DB2数据库内.

2.进入到数据仓库中心,首先我们现配置<仓库源>,在仓库源内加入你需要的数据源表（也就是映射过来的ORACLE表）.

3.接下来我们需要在<仓库目标>内加入你需要的目标表（也就是在DB2数据库内创建的事实表）.

4.我们现在就可以进入<主题区域>,在这里我们来建立一个主题,这个主题是的作用是制定一系列的数据抽取和转换的规则,将ORACLE数据库内的原始记录,经过ETL的过程存放到DB2数据库的事实表内.

5.我现在测试主题无误后,可以进入到运行界面,点击运行该主题,这样数据仓库就开始抽取数据到目标表内了,至此在warehousemanager里的工作我们就结束了,现在我们得到的只是一些过滤好的原始数据,至于这些数据之间到底有什么关系和结构,还有根据什么来汇总,我们需要到IBM的Essbaseadministrationserver这个工具里来实现它.

二.OLAPSERVER开发过程:

1.在打开Essbaseadministrationserver之前我们需要现启动OLAPSEREVER这个服务,启动它后,我们需要再启动administrationserver的服务,这样我们就可以进入到dministrationconsole里开发了.

2.进入后,我们选择Essbaseanalyticservers,需要新建立一个application,在这个application里还需要建立一个datebase,建立完这个datebase后我们就可以正是进入OLAP的开发中.

3.我们现在datebase里进入到它的outline,在这里我们可以定义一个主题到底有那些维（dimension）,和事实数据（dateload）,当定义完成后我们就可以制作规则文件了.

4.我们在datebase里选着rulesfiles在制定维和事实数据的规则文件,制定完成后就验证和保存.

5.在这里我们可以选着loaddate项,来想你的规则文件中填入数据,系统会根据你定义的规则文件和维与事实数据之间的关系从DB2数据库内抽取需要的数据,load到文件中,到此,OLAP的工作我们也开发完成了.

三.BI开发过程:

（注:

这里使用的是第三方BI产品—博易智软产品BI-PILOT）

1.开发前需要先安装BI的产品,BI-PILOTBUILDERANDBI-PILOTSERVER,BUILDER的作用主要用来开发报表,SERVER主要用来发布部署报表和在服务器上建立服务.

2.进入到BUILDERPROFESSIONAL里我们需要先配置它与OLAPSERVER的连接,新建立一个项目在项目上选择新建ODS文件,在这里需要填写OLAP的驱动和地址,用户名和密码,验证成功后,这样连接就建立起来了.

3.连接建立起来后我们可以选择需要的OLAP里的datebase,这样我们还需要在项目上新建立一个OLAP文件,在这里我们可以选择需要的datebase.

4.现在就可以制作交叉报表了新建立一个报表,选择插入交叉表,在这里我们可以看到datebase里的所有的维表和事实表里的数据点,可以选择横表头显示什么,每列显示什么,制作完成后可以预览报表,

5.开发完成后,就可以发布和部署了,现在就需要启动BI-PILOTSERVER了.部署以后就可以通过B/S结构来观看报表.

3应用性

3.1Oracle的OWB和IBM的warehousemanager.OLAPserver的比较

1总体理解上:

Oracle的产品使用图形化界面，可以快速设计、部署数据仓库,上手比较容易,理解上比较快一些，比较适合出学者.

而IBM的产品比较多,安装和配置还有使用上比较复杂,所有比较适合有一定的数据库基础和一定的数据仓据知识的人来操作.

2操作使用上:

Oracle产品控制上太严禁,没有多少发挥的余地,不可以修改已生成的SQL.

而IBM产品就可以修改你生成的任何SQL,比较开放.编程人员可以自己发挥.

3.从结构上:

Oracle的WAREHOUSEBUILDER工具可以完成数据的抽取转换（ETL）和多维结构的建立.

而IBM的ETL部分是由WAREHOUSEMANAGER完成的,多维结构的建立是由OLAPSERVER来实现的,这样会需要多花时间来掌握更多的工具.

4数据结构上:

Oracle的整个流程都是在操作ORACLE的数据库,已ORACLE数据库为基础,即使到了展现的时候数据的保存还是在数据库里,对数据库操作比较频繁.

而IBM在WAREHOUSEMANAGER的操作还是已数据库为基础,但是到了OLAPSERVER的时候就可以脱离对数据库的操作了,已文件的形式保存下来.

5流程顺序上:

Oracle的整个流程是先建立维表和事实表,然后建立他们之间的层次和关系,最后根据抽取条件从数据源抽取数据放到目标表内,它的ETL和OLAP的多维结构是一步完成的.

而IBM是先根据抽取条件从源数据库内整理好数据放到DB2数据库内,在建立多维的规则文件,根据多维的规则文件再从DB2数据库内抽取数据存放到最终的一个文件中.

3.2由于数据仓库开发过程相对复杂，在两个产品的使用过程中都出现了一些问题。

3.2.1用ORACLE开发过程中遇到的问题：

1．在展现方面oracle的IDS工具,在报表的表头中无法实现多层嵌套和自定义表头。

2．增量抽取数据有问题,oracle的OWB工具不能实现自动定时间增量抽取数据,只能人工抽取数据,这样会给以后的维护产生问题。

3．如果设计的维比较多，对于报表查询的性能会有一定影响,两者是成正比的,纬度越多,性能越底。

4．所有数据全部动态计算，没有预算机制，延长了统计时间。

5．在OWB工具里作数据抽取时，如果主辅表关联，会产生统计金额的加倍的问题。

6．有关上月数与同期数的问题在IDS里无法解决。

Oracle提供的聚集函数并不能满足这样的要求。

7．Owb工具，如果今后需求有变动，需要修改开发成果从新抽取数据，但是owb工具不支持修改，只能删除原来的关系线从新作，比较耗费时间。

8．最大弱点,在OWB的开发中,如果数据库或网络断线,那就意味这你没有保存的信息都将丢失.

3.2.2用IBM开发过程中遇到的问题：

1．开发过程分为多部（oracle到db2映射,etl,olap,展现），需要安装使用的软件较多（现阶段需要掌握7个软件安装4个软件的使用），掌握这些软件需要更多的时间,还需要对数据仓库的理念有一定的了解。

2．业务数据库为oracle，需要映射到db2的数据库中才能进行开发,这样会对数据的ETL部分有影响,具体影响有多大,还需要具体分析。

3．开发过程中完全使用db2的数据库及管理软件，对想应的数据库SQL和函数并不熟悉，需要时间来进行学习和掌握,可能会影响项目的进度。

4．数据抽取过程中，需要写大量的sql脚本，对数据库不熟悉的开发人员很难完成。

5．在warehousemanager方面,由于源数据是ORACLE,而目标表是DB2的,所以会碰到数据类型的转换问题,例如,varchar2---varhcar,timestamp---date

6．在OLAPserver里制作晚结构文件后在根据纬度GOURPBY数据的时候,事实表里的数据点,只能实现累（加,减,乘,除）,不能实现COUNT等功能.

7．在OLAPserver里当loaddate的时候,如果你的事实表里的数据有写纬度的值为null,将会产生这个loaddate过程失败,所有记录都不能load.

8．最大问题,在OLAPserver里,不同的维的代码和别名不能够重复,这点将会对客户造成影响,目前代码不能重复可以已转换的方式来解决,但别名就不好解决了.例如*经济类型维*里有名称维<街道>的代码,但*隶属关系维*里也有名称维<街道>的代码,但OLAP开发中名称不能重复,只能找客户去解决.

2.2.1用BI开发过程中遇到的问题

1.bi-pilotbuilder中暂时不能实现两个CUB的关联,这样会产生不能做出比较复杂的报表.

2.如果OLAPserver里的CUB结构有了变化,在bi-pilotbuilder里是不能实现自动更新的,只能手动去重新配置OLAP文件.

3.就目前来讲,bi-pilotbuilder功能上,问题还很多,例如,多CUB关联,显示别名的问题,纬度多层次上显示不规则,等一系列问题,可能会影响到开发的进度.