省级BI规范元数据管理规范.docx

省级BI规范元数据管理规范.docx

《省级BI规范元数据管理规范.docx》由会员分享，可在线阅读，更多相关《省级BI规范元数据管理规范.docx（98页珍藏版）》请在冰豆网上搜索。

省级BI规范元数据管理规范

经营分析系统元数据管理规范

Ｖ１.０

（讨论稿）

二○○三年十月

1总则

1.1概述

为使中国移动通信集团公司（以下简称中国移动）适应日趋激烈的市场竞争环境，有效并准确的使用经营分析系统提供的资源，从而对信息进行智能化加工处理，并最终为各级市场决策管理者提供及时、准确、科学的辅助决策依据，指导中国移动经营分析系统的元数据管理系统发展，依据《中国移动经营分析系统技术规范》和OMG组织的CWM国际标准与相关标准，并参考《中国移动一级经营分析系统需求说明书》、《二级经营分析系统需求说明书》、特制定《中国移动经营分析系统元数据管理规范》。

本规范包含对集团公司经营分析系统的元数据管理要求和各分公司经营分析系统元数据管理要求。

本规范是中国移动经营分析系统元数据管理和建设的基本要求。

各省、自治区、直辖市公司依照本技术规范，进行经营分析系统的元数据建设。

从技术理论上讲，经营分析系统元数据涉及到经营分析系统数据仓库、ETL、联机分析处理、数据挖掘、前端展现等多方面内容，元数据贯穿经营分析系统始终。

从技术实现上讲，元数据分布在仓库的不同组件中，业务规则和技术元数据是分离的，而且由不同系统以不同格式保存且用户界面不同，不利于业务人员和技术人员对于元数据的管理和使用。

而根据从数据仓库的系统中获得的数据做出智能决策和采取信息化行动时，分析人员和决策者需要知道自己的需要与经营分析系统中数据的关系。

因此集团公司制定了经营分析系统元数据规范，使得技术人员和业务人员可以统一地对经营分析系统中的元数据进行管理和监督以及探查。

本规范囊括了中国移动通信公司经营分析系统中常见的元数据，首先描述了经营分析系统中元数据标准框架、各省元数据管理体系结构和省级元数据库与中央元数据库管理架构，明确了本规范的工作范围。

其次定义了经营分析系统核心元数据涉及到的范围以及与CWM标准对应的对象类，并规定存储依据的标准，建立省级-中央，省级-本地，中央-本地等标准化接口和API接口，最后对元数据质量和元数据管理平台进行规定和说明。

本规范包含有关元数据四个接口规范、一个存储规范（逻辑模型）以及基于元数据库的几类基本应用等内容。

各省、自治区、直辖市公司在实施经营分析系统过程中，可根据实际需要以本规范为基础进行扩充与细化，但务必保证核心元数据的内容和接口不能改变。

1.2目标

本规范目的在于指导各省以及集团公司的元数据建设，由于元数据贯穿经营分析系统始终，在经营分析系统中各个系统元数据比较分散，不利于各省公司以及集团公司的管理，因此制定此规范用于指导约束各省公司的元数据接口、存储、管理。

具体而言，目标有如下几点：

●指导各省公司以及集团公司元数据库和管理平台的建设，规定元数据基本内容

●定义经营分析系统元数据管理框架和流程

●约束各省公司元数据库接口以及集团公司元数据接口和存储模型

●对元数据管理平台提出基本的功能和规定

1.3适用范围

本规范适用于集团公司元数据管理、一级经营分析系统元数据管理和中国移动各省（直辖市、自治区）经营分析系统元数据管理系统

1.4包含附件内容

随本规范附件有省级-本地IDL接口定义（省级-本地IDL接口.zip），中央-本地IDL接口定义（中央-本地IDL接口.zip），省级-本地XMI接口定义（省级-本地XMI接口.dtd），中央-本地XMI接口定义（中央-本地XMI接口.dtd），省级-中央接口定义（省级-中央接口.dtd），一级-中央接口定义（一级-中央接口.dtd）。

包含的参考资料有CWM模型1.1标准（CWM标准.pdf），MOF1.3标准（MOF标准.pdf），其他的参考资料可以查看www.omg.org上的相关涉及到的内容。

1.5起草单位

本规范由中国移动通信集团公司负责起草。

1.6解释权

本规范的增补、修订及解释权属中国移动通信集团公司。

2元数据管理规范总体说明

2.1规范涉及的元数据标准

本规范是基于OMG组织的元数据规范CWM1.1而产生的，在CWM标准之上根据中国移动的本地化需要，在一些细节上进行调整。

阅读此规范时，必须参阅CWM模型1.1版本，该标准中有对于本规范规定的各类详细定义，关联以及属性详细定义进行的细致的说明。

CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。

目前这个元数据标准得到了IBM、Unisys、NCR、Oracle、SAS等厂商的支持。

CWM模型涉及以下几个国际标准，在元数据管理规范中涉及到的接口、定义默认是遵循下列版本的国际标准：

●CWM1.1

●XMI1.1

●CORBAIDL（由MOF1.3产生）

●MOF1.3

●UML2.0

其中UML用来描述元数据模型本身和一些对象元数据，本规范中核心元数据相关的类定义是借助UML语言进行表述的。

MOF用来定义元数据存储标准且提供一个良好的CORBAIDL接口，是经营分析系统元数据的存储标准。

CORBAIDL是一种基于中间件思想的接口定义语言，它可以支持java，C等流行的编程语言方便、无二义性地访问经营分析系统元数据存储内容。

XMI是XML形式的元数据接口定义语言，它是经营分析系统元数据管理体系中元数据默认的交换文件形式。

CWM标准是本规范制定的重要参考标准，本规范参考的上述国际标准都是围绕着CWM标准而采纳的，CWM标准对于和数据仓库以及商业智能软件的元数据提取，交换，存储，访问提供了一系列的定义和要求。

CWM标准涉及到的元数据模型结构如图2-1。

图2-1

本规范基于CWM标准对象模型层和基础层之上对于经营分析系统中获取层、存储层和访问层中的相关元数据描述和定义，CWM模型和经营分析系统元数据的对应关系如表2-1，相关详细信息参见第三章中的有关内容。

经营分析系统中元数据

CWM标准模型包

经营分析系统基础层元数据

对象模型包，业务信息包，数据类型包，表达式包，键索引包，类型映射包，软件发布包

经营分析系统获取层元数据

ETL元数据包

经营分析系统存储层元数据

关系模型包，仓库过程包，仓库操作包

经营分析系统访问层元数据

OLAP模型包，数据挖掘模型包，信息可视化包

经营分析系统可选元数据

业务术语包，XML元数据包，记录包，多维包，对象数据库包

2.2元数据基本框架

参见图2-2，集团核心元数据为全国各省、直辖市、自治区以及一级经营分析系统要统一的元数据格式。

此部分元数据是全国统一必须严格遵守。

各省核心元数据为各省、直辖市、自治区元数据库，元数据管理必须遵守的规范，这部分由移动各省公司统一规定，集团公司不做要求。

各异元数据为各省内一些特殊或临时数据形成的元数据，这部分元数据可以不进行统一规划。

图2-2中，由内至外集团公司强制统一的力度逐渐减弱。

本规范规定的范围局限于集团核心元数据部分，各省在进行元数据库和元数据管理系统建设涉及到集团核心元数据时必须遵循本规范有关规定。

图2-2

2.3省级（包括一级经营分析系统）元数据管理架构

省级（包括一级经营分析系统，以下略）元数据管理是以各省元数据库为中心展开，在规范中定义了元数据库的逻辑（对象）模型，其存储标准是按照OMG组织的MOF1.3标准。

图2-3中，经营分析系统各子系统元数据经过转换工具或者API转换为XMI文件或者调用元数据库的CORBAIDL接口将元数据导入各省元数据库。

同时，元数据管理工具也可以通过CORBAIDL或者XMI文件的形式将省级元数据库中的元数据内容返回到各系统中，对经营分析系统各子系统的元数据进行调整。

图中的转换工具或者API指的是经营分析系统子系统元数据不支持CWM模型情况下，需要进行双向转换，而支持CWM元数据标准的子系统则不需要转换直接和元数据库接口交互。

各省元数据库提供CORBAIDL接口为本省元数据管理工具提供访问和管理接口，此接口与经营分析系统各子系统和元数据库交互的CORBAIDL接口是相同的，这是由CWM标准本身决定的，这也使得元数据管理工具有能力直接访问某些支持CWM标准的经营分析系统子系统。

各省元数据库与中央元数据库的接口为转换后的XMI文件，这里的转换指的是各省依据CWM标准导出的XMI文件后，需将所有对象名称前加入本省标识。

详细步骤参见余后各章。

对于各省元数据管理工具规范提出几种基本需求，各省根据本省情况，在满足基本需求之上进行扩充。

图2-3

2.4中央元数据库管理架构

中央元数据库管理架构如图2-4所示。

中央元数据库内容包括各省上报的元数据以及一级经营分析系统元数据。

其中各省元数据和中央一级经营分析系统元数据是以XMI文件的形式导入中央元数据库。

或者通过调用省级元数据库的CORBAIDL接口直接访问省级元数据库中的内容。

中央元数据库存储标准为MOF1.3，中央元数据库为元数据管理工具提供CORBAIDL接口，在元数据管理平台上进行元数据管理。

由于各省和一级经营分析系统导出XMI文件中的对象是经过编号后存储在中央元数据库中，这样，可在管理工具平台中对于各省不同对象进行分类和处理。

图2-4

2.5元数据管理系统拓扑图

图2-5元数据管理系统拓扑图

元数据管理系统由各省元数据管理系统和中央元数据管理系统组成，省级元数据管理系统和中央元数据管理系统通过网络专线进行连接（蓝色线条）。

省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器组成。

●省级元数据抽取服务器的主要功能是将符合CWM模型的各经营分析子系统的元数据（通过XMI文件获取或者通过CWM兼容CORBAIDL读出）存入省级元数据存储服务器之中（绿色线条），如果有些系统不支持CWM模型则需要通过API或者其他手段获得其元数据并转换为CWM模型格式的元数据存储到省级元数据存储服务器内（红色线条）。

有些元数据存储系统是自带元数据抽取功能，那么这部分服务器的功能并入省级元数据存储服务器。

●省级元数据存储服务器主要是接受省级元数据抽取服务器提供的元数据（接受提供XMI文件或者访问元数据存储服务器的CORBAIDL），并把这些元数据按照本规范的规定进行存储，省级元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBAIDL接口以便省级元数据管理平台和中央元数据抽取服务器进行访问。

●省级元数据管理平台提供对省级存储服务器中的元数据进行访问，查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对经营分析系统元数据进行访问。

中央元数据管理系统主要由中央元数据抽取服务器，中央元数据存储服务器，中央元数据管理平台组成。

●中央元数据抽取服务器主要作用在于通过各省提交的XMI文件或者直接通过CORBAIDL接口访问各省元数据存储服务器的方式，采集各省经营分析系统元数据。

中央元数据管理平台可以通过中央元数据抽取服务器对各省元数据存储服务器CORBAIDL接口进行直接访问。

也可以中央元数据抽取服务器通过各省元数据存储服务器CORBAIDL接口将元数据抽取至中央元数据存储服务器内，或者抽取服务器将各省提交的XMI文件存储至中央元数据存储服务器内，然后让中央元数据管理平台进行访问。

●中央元数据存储服务器主要是接受中央元数据抽取服务器提供的元数据（接受XMI文件或者接受访问元数据存储服务器的CORBAIDL），并把这些元数据按照本规范的规定进行存储，中央元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBAIDL接口以便中央元数据管理平台和中央元数据抽取服务器进行访问。

●中央元数据管理平台提供对中央元数据库中的元数据进行查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对全国所有省份（包括一级）经营分析系统元数据进行访问。

同时提供即时访问功能，即直接通过中央元数据抽取服务器将CORBAIDL的访问请求映射到相应省份的CORBAIDL的访问请求对各省元数据进行即时探查。

3经营分析系统核心元数据

3.1概述

经营分析系统核心元数据指的是经营分析系统中主要系统涉及到的元数据，包括了经营分析系统基础层元数据，经营分析系统获取曾元数据，经营分析系统存储层元数据和经营分析系统数据访问层元数据。

本章所涉及的元数据严格遵循CWM模型1.1标准，包括了CWM模型中两个底层部分的七个包。

他们分别是对象层中的对象模型包，基础层中的业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。

下面根据经营分析系统的需要，定义核心元数据涉及到的范围与标准，本章的相关内容可以参考附件CWM标准.pdfCWM模型1.1标准有关内容。

对于每一个元数据模块内部的元数据范围来讲，目前的范围规定在除临时表，临时变量以外的所有元数据信息，相关的元数据质量要求参见第7章的相关内容。

3.2经营分析系统基础层元数据

3.2.1概述

经营分析系统基础层元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。

它包括对象模型和基础元数据两部份，对象模型描述的为每一个元数据元素（对象）的基本结构和相应的类型属性，而基础元数据包括了所有上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的元数据。

本节的相关内容可以参考附件CWM标准.pdfCWM模型1.1标准中第4章与第5章的有关内容。

3.2.2对象模型元数据

经营分析系统中对象模型元数据对应CWM模型中最底层的对象模型包中的内容。

它描述了经营分析系统其他元数据中最基本的元模型的类结构，是所有经营分析系统元数据模型的基础。

任何一个元数据模型都是从对象模型衍生出来的。

经营分析系统中的对象模型元数据完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第四章ObjectModel有关内容。

这里提到的对象模型是UML的一个子集，仅涉及到与CWM模型相关的内容。

这部分使得经营分析系统的元数据标准可以在遵循CWM模型的基础上以UML标准进行表述。

其主要内容分为四部分：

CoreMetamodel、BehavioralMetamodel、RelationshipsMetamodel、InstanceMetamodel。

其中CoreMetamodel是所有其他几个模型的基础，他们之间的关系如图3-1所示：

图3-1

●CoreMetamodel

CoreMetamodel装载着其它经营分析系统元数据所用的类和关联。

它严格遵循CWM模型中对象模型里面CoreMetamodel的所有标准。

其中所有的类和关系如图3-2、图3-3所示。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.3节的有关内容。

图3-2CoreMetamodel类关系图参考附件CWM标准.pdf中figure4-2

图3-3CoreMetamodel支持类关系图参考附件CWM标准.pdf中figure4-3

●BehavioralMetamodel

BehavioralMetamodel描述了经营分析系统元数据中其他类和关联的行为类型以及提供一个记录特定行为请求的基础。

它严格遵循CWM模型中对象模型里面BehavioralMetamodel的所有标准。

其中所有的类和关系如图3-4所示。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.4节的有关内容

图3-4Behavioral元模型的主类图和类之间关系

●RelationshipsMetamodel

RelationshipsMetamodel收集了描述经营分析系统元数据存储中对象和对象之间关系的所有类和关联。

它严格遵循CWM模型中对象模型里面RelationshipsMetamodel的所有标准。

CWM模型中RelationshipsMetamodel描述了两种关系：

关联和继承。

而CWM模型中的继承关系支持多继承，因此CWM模型的继承结构其实是一个由父节点到子节点的有向无环图。

RelationshipsMetamodel所有的类和关系如图3-5所示。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.5节的有关内容。

●InstanceMetamodel

在利用CWM标准正常的交换元数据的时候，有些情况随着元数据附加一些特定的具体数据实例是非常有用的。

经营分析系统元数据对象模型中的InstanceMetamodel就是用来描述这些附带在元数据后的具体数据的。

InstanceMetamodel严格遵循CWM模型中对象模型里InstanceMetamodel所有标准，具体如图3-6所示。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第4.6节的有关内容。

3.2.3基础元数据

3.2.3.1概述

基础元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。

一般来说，基础元数据包中的元数据是上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的东西。

对于上层某一个具体的元数据包来讲，它所囊括的基础元数据不一定是整个经营分析系统的基础包中的元数据，它只需要包括自身包涉及到的基础元数据即可。

基础元数据的内容和对象模型元数据的内容是不同的，因为它是专为经营分析系统所设计的元数据，而对象模型元数据从某个角度上来说是可以应用在很多其他领域（数据仓库领域之外，例如系统部署领域等）。

经营分析系统中的基础元数据模型完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第五章Foundation有关内容。

为了控制复杂性，基础元数据内部分为六个包，他们是业务信息包、数据类型包、表达式包、主键和索引包、类型映射包、系统部署包，分别对应CWM1.1标准中Foundation部分中BusinesssInformation包、DataTypes包、Expressions包、KeyIndexes包、TypeMapping包、SoftwareDeployment包，它们之间的关系如图3-7：

图3-7基础元数据结构图（参考附件CWM标准.pdfFigure5-1）

经营分析系统基础元数据中，包与包之间的关系是在不牺牲共有目的的情况下可以单独的使用，例如，如果对于经营分析系统中自主开发某一个支持CWM标准的数据仓库软件时，支持某种编程语言的元数据可能用到数据类型包、表达式包、类型映射包和软件发布包，而键索引和业务信息包就不需要了。

对于某一个具体的系统（过程），也只包括和本身系统与周边系统相关的基础元数据，而不需要罗列所有基础元数据中出现的元数据。

3.2.3.2业务信息

业务信息包给经营分析系统元数据的元素提供了和业务部门（或项目组）方面的信息。

这里说的业务部门指的是支持数据仓库和商业智能系统的相关的业务部门或项目组而不是所有移动通信公司的业务部门。

业务信息元数据包括：

●业务部门的名称

●联系方法（地址、e-mail、电话）

●相关离线文档的标识

●有关的描述信息

业务部门之间的关系可以通过类之间的关联来表示。

经营分析系统业务信息元数据支持部门的层次关系，例如一个部和几个处之间的从属关系可以通过关联关系来表示。

7.1小节关于数据质量和一致性要求中对于经营分析系统的元数据内容（元数据的对象）要求必须具有的确切描述这项元数据内容的Description（每一个具体元数据的业务描述或功能描述）用到本节元数据中的描述一项，同时元数据涉及到的系统负责人或者负责部门的内容利用本节关于ResponsibleParty的内容。

具体对于数据质量的要求细节参见7.1小节。

业务信息元数据严格遵循CWM模型中基础元数据里面BusinesssInformation的所有标准。

其中所有的类和关系如图3-8所示。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第5.3节的有关内容。

图3-8业务信息主类图（参考附件CWM标准.pdfFigure5-2）

3.2.3.3数据类型

数据类型元模型提供经营分析系统中建立不同系统需要的数据类型的元数据模型定义。

数据类型包严格遵循CWM模型1.1标准中基础模型里面DataTypes包的所有标准。

虽然数据类型包自身并不给出任何一种具体的数据类型的定义（它仅是给出定义这些数据类型的元数据的模型），但是大部分常用的数据类型作为数据类型包的具体实例在CWM模型1.1标准中已经给出，具体内容参见附件CWM标准.pdfCWM模型1.1标准中的19章数据类型的全部内容。

数据类型元模型所有的类和关系如图3-9所示。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第5.4节的有关内容。

图3-9数据类型主类图（参考附件CWM标准.pdfFigure5-5）

3.2.3.4表达式

表达式元模型提供了定义经营分析系统中所有表达式树的基本支持。

表达式包的作用在于为其他所有经营分析系统元数据和管理工具提供一个可以共享的表达式格式，使得可以让这些表达式在不同的系统中交换和跟踪。

表达式元模型所有的类和关系如图3-10所示。

表达式包严格遵循CWM模型1.1标准中基础模型里面Expressions包的所有标准。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第5.5节的有关内容。

图3-10表达式模型主类图（参考附件CWM标准.pdfFigure5-5）

3.2.3.5主键和索引

键和索引包是为了方便访问所有经营分析系统数据实例而构造的包。

在基础模型中，我们只给出了定义键和索引基本概念的元数据模型，具体的面向某些具体应用的键结构会在面向具体应用的包中给出。

例如，关系模型的键和索引结构在这里没有给出完整的定义，这是因为在基础包中所有的元模型是上层系统所共享的，关系模型的键和索引只是一种常见的键和索引结构，但是并不是所有系统（例如XML系统，面向对象系统）通用的键和索引结构，因此具体的关系模型的键和索引将在关系模型包中给出。

键和索引包模型包所有的类和关系如图3-11所示。

本包的所有内容严格遵循CWM模型1.1标准中基础模型里面KeysIndexes包的所有标准。

其中类和关联的详细定义与约束请参见附件CWM标准.pdfCWM模型1.1标准中第5.6节的有关内容。

图3-11键索引模型主类图（参考附件CWM标准.pdfFigure5-9）

3.2.3.6系统部署

系统部署包是为了记录经营分析系统中系统和软件是怎样应用的。

在基础模型中，不同的系统可能会用到不同的数据类型，系统之间的类型映射将在3.3.3.7小节中讲述。

系统部署包主要是为了管理和记录经营分析系统各个软件系统的分布和连接情况，具体内容包括：

●系统软件

●子系统类型

●部署的组件和离散的组件

●独立计算机

●站点（地点）

●数据管理者

●数据提供者等

本节内容的元数据需要经营分析系统负责部门进行手工录入，描述经营分析系统各个软件的分布情况以及一个系统分布式的结构等。

系统部署包所有的类和关系如图3-12所示，有关系统部署中数据接口的类和关联如图3-13所示。

系统部署包严格遵循CWM模型1.1标准中基础模型里面SoftwareDeployme