中国移动企业级省大数据平台技术规范数据治理子系统分册.docx

中国移动企业级省大数据平台技术规范数据治理子系统分册.docx

《中国移动企业级省大数据平台技术规范数据治理子系统分册.docx》由会员分享，可在线阅读，更多相关《中国移动企业级省大数据平台技术规范数据治理子系统分册.docx（69页珍藏版）》请在冰豆网上搜索。

中国移动企业级省大数据平台技术规范数据治理子系统分册

中国移动通信企业标准

QB-Y-043-2015

版本号：

1.0.0

前言

本规范的制订是为了更好地实现中国移动企业级省大数据平台数据治理子系统的建设和管理，为企业级省大数据平台上的各类基础技术和应用提供支撑，加强企业级省大数据平台上数据的管控力度，增强数据治理子系统自身管理能力。

本规范主要包括以下几方面的内容：

总体说明、数据治理体系、数据治理核心模块、数据治理场景等。

本规范是中国移动企业级省大数据平台系列规范之一。

该系列规范的结构、名称或预计的名称如下：

序号

标准编号

标准名称

[1]

QB-Y-***-2015

中国移动企业级大数据平台目标架构

[2]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范总册

[3]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范平台架构分册

[4]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范逻辑模型分册

[5]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范外部接口分册

[6]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范服务开放分册

[7]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范服务开放技术方案

[8]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范数据治理分册

[9]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范数据治理技术方案

[10]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范运营维护子系统分册

[11]

QB-Y-***-2015

中国移动企业级省大数据平台技术规范安全管理技术方案

本规范由中移技﹝××﹞××印发。

本规范由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。

本规范起草单位：

中国移动通信集团公司业务支撑系统部。

本规范主要起草人：

段云峰、汪新勇、赵静、周立、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。

1.范围

本规范规定了中国移动企业级省大数据平台数据治理子系统的建设内容，适用于中国移动各省（直辖市、自治区）公司（以下简称“各省公司”）企业级省大数据平台数据治理子系统的建设。

2.规范性引用文件

下列文件中的条款通过本规范的引用而成为本规范的条款。

凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范。

然而，鼓励根据本规范达成协议的各方对是否使用这些文件的最新版本进行研究。

凡是不标注日期的引用文件，其最新版本适用于本规范。

[1]

《中国移动省级经营分析系统业务规范（v1.0）》

中国移动通信有限公司

[2]

《中国移动省级经营分析系统技术规范（v1.0）》

中国移动通信有限公司

[3]

QB-J-010-2006

《中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）》

中国移动通信有限公司

[4]

QB-J-006-2006

《中国移动省级经营分析系统数据仓库逻辑数据模型说明（v1.5）》

中国移动通信有限公司

[5]

QB-J-007-2006

《中国移动省级经营分析系统数据集市业务技术规范（v1.5）》

中国移动通信有限公司

[6]

QB-J-008-2006

《中国移动省级经营分析系统与源系统接口规范（v1.5）》

中国移动通信有限公司

[7]

QB-J-009-2006

《中国移动省级经营分析系统与BOSS系统互动技术规范（v1.5）》

中国移动通信有限公司

[8]

QB-J-003-2006

《中国移动省级经营分析系统业务规范（v1.5）—基础业务分册》

中国移动通信有限公司

[9]

QB-J-004-2006

《中国移动省级经营分析系统业务规范（v1.5）—数据业务分册》

中国移动通信有限公司

[10]

QB-J-005-2006

《中国移动省级经营分析系统业务规范（v1.5）—集团客户分册》

中国移动通信有限公司

[11]

QB-J-001-2006

《中国移动业务运营支撑系统（BOSS）业务技术规范营销资源管理分册（2.0版）》

中国移动通信有限公司

[12]

QB-J-001-2006

《中国移动业务运营支撑系统（BOSS）业务技术规范客服信息分册（2.0版）》

中国移动通信有限公司

[13]

QB-J-001-2006

《中国移动业务运营支撑系统（BOSS）业务技术规范（2.0版）》

中国移动通信有限公司

[14]

QB-J-021-2007

《中国移动省级经营分析系统数据仓库逻辑数据模型规范（v2.0）》

中国移动通信有限公司

[15]

QB-J-020-2007

《中国移动省级经营分析系统与源数据接口规范（v2.0）》

中国移动通信有限公司

[16]

QB-J-022-2007

《中国移动省级经营分析系统数据集市业务技术规范（v2.0）》

中国移动通信有限公司

[17]

QB-J-019-2007

《中国移动省级经营分析系统业务规范渠道运营管理分析监控分册（v1.0）》

中国移动通信有限公司

[18]

QB-J-018-2007

《中国移动省级经营分析系统业务规范客户服务分册（v2.0）》

中国移动通信有限公司

[19]

QB-J-017-2007

《中国移动省级经营分析系统业务规范集团客户分册（v2.0》

中国移动通信有限公司

[20]

QB-J-016-2007

《中国移动省级经营分析系统数据质量管理系统业务技术规范（V2.0）》

中国移动通信有限公司

[21]

《中国移动业务支撑网4A安全技术规范》

中国移动通信有限公司

[22]

《中国移动省级经营分析系统技术规范总册（v2.0全量版）》

中国移动通信有限公司

[23]

《中国移动省级经营分析系统技术规范逻辑模型分册（v2.0全量版）》

中国移动通信有限公司

[24]

《中国移动省级经营分析系统技术规范数据集市分册（v2.0全量版）》

中国移动通信有限公司

[25]

《中国移动省级经营分析系统技术规范数据质量管理子系统分册（v2.0全量版）》

中国移动通信有限公司

[26]

《中国移动省级经营分析系统业务规范（v2.0全量版）》

中国移动通信有限公司

[27]

《中国移动省级经营分析系统技术规范源系统接口分册（v2.0全量版）》

中国移动通信有限公司

[28]

QB-J-002-2008

《中国移动省级NG1-BASS技术规范总册（v1.0）》

中国移动通信集团公司

[29]

QB-J-003-2008

《中国移动省级NG1-BASS技术规范数据集市分册（v1.0）》

中国移动通信集团公司

[30]

QB-J-004-2008

《中国移动省级NG1-BASS技术规范逻辑模型分册（v1.0）》

中国移动通信集团公司

[31]

QB-J-005-2008

《中国移动省级NG1-BASS技术规范源系统接口分册（v1.0）》

中国移动通信集团公司

[32]

QB-J-006-2008

《中国移动省级NG1-BASS技术规范元数据管理分册（v1.0）》

中国移动通信集团公司

[33]

QB-J-007-2008

《中国移动省级NG1-BASS技术规范数据质量管理子系统分册（v1.0）》

中国移动通信集团公司

[34]

QB-J-008-2008

《中国移动省级NG1-BASS业务技术规范客户分析及运营分册（v1.0）》

中国移动通信集团公司

[35]

QB-J-001-2008

《中国移动省级NG1-BASS业务规范（v1.0）》

中国移动通信集团公司

[36]

QB-Y-003-2009

《中国移动省级NG1-BASS技术规范总册（v2.0）》

中国移动通信集团公司

[37]

QB-Y-004-2009

《中国移动省级NG1-BASS技术规范数据集市分册（v2.0）》

中国移动通信集团公司

[38]

QB-Y-005-2009

《中国移动省级NG1-BASS技术规范逻辑模型分册（v2.0）》

中国移动通信集团公司

[39]

QB-Y-006-2009

《中国移动省级NG1-BASS技术规范外部接口分册（v2.0）》

中国移动通信集团公司

[40]

QB-Y-007-2009

《中国移动省级NG1-BASS技术规范元数据管理分册（v2.0）》

中国移动通信集团公司

[41]

QB-Y-008-2009

《中国移动省级NG1-BASS技术规范数据质量管理子系统分册（v2.0）》

中国移动通信集团公司

[42]

QB-Y-002-2009

《中国移动省级NG1-BASS业务规范（v2.0）》

中国移动通信集团公司

[43]

QB-Y-052-2010

《中国移动省级NG2-BASS（v3.0）业务规范》

中国移动通信集团公司

[44]

QB-Y-053-2010

《中国移动省级NG2-BASS（v3.0）技术规范总册》

中国移动通信集团公司

[45]

QB-Y-054-2010

《中国移动省级NG2-BASS（v3.0）技术规范数据集市分册》

中国移动通信集团公司

[46]

QB-Y-055-2010

《中国移动省级NG2-BASS（v3.0）技术规范逻辑模型分册》

中国移动通信集团公司

[47]

QB-Y-056-2010

《中国移动省级NG2-BASS（v3.0）技术规范外部接口分册》

中国移动通信集团公司

[48]

QB-Y-057-2010

《中国移动省级NG2-BASS（v3.0）技术规范元数据管理分册》

中国移动通信集团公司

[49]

QB-Y-058-2010

《中国移动省级NG2-BASS（v3.0）技术规范数据质量管理子系统分册》

中国移动通信集团公司

[50]

QB-Y-059-2010

《中国移动省级NG2-BASS（v3.0）技术规范多OP能力交互分册》

中国移动通信集团公司

[51]

QB-Y-060-2010

《中国移动省级增值业务综合运营平台业务规范（v1.0）》

中国移动通信集团公司

[52]

QB-Y-061-2010

《中国移动省级增值业务综合运营平台技术规范（v1.0）》

中国移动通信集团公司

[53]

QB-Y-062-2010

《中国移动省级增值业务综合运营平台技术规范-数据管理分册（v1.0）》

中国移动通信集团公司

[54]

QB-Y-063-2010

《中国移动省级增值业务综合运营平台接口规范》

中国移动通信集团公司

[55]

QB-Y-039-2011

《中国移动省级NG2-BASS（v3.5）业务规范》

中国移动通信集团公司

[56]

QB-Y-038-2011

《中国移动省级NG2-BASS（v3.5）技术规范总册》

中国移动通信集团公司

[57]

QB-Y-040-2011

《中国移动省级NG2-BASS（v3.5）技术规范数据集市分册》

中国移动通信集团公司

[58]

QB-Y-041-2011

《中国移动省级NG2-BASS（v3.5）技术规范逻辑模型分册》

中国移动通信集团公司

[59]

QB-Y-042-2011

《中国移动省级NG2-BASS（v3.5）技术规范外部接口分册》

中国移动通信集团公司

[60]

QB-Y-043-2011

《中国移动省级NG2-BASS（v3.5）技术规范元数据管理分册》

中国移动通信集团公司

[61]

QB-Y-044-2011

《中国移动省级NG2-BASS（v3.5）技术规范数据质量管理子系统分册》

中国移动通信集团公司

[62]

QB-Y-045-2011

《中国移动省级NG2-BASS（v3.5）技术规范OP能力交互分册》

中国移动通信集团公司

[63]

QB-Y-046-2011

《中国移动省级增值业务综合运营平台业务规范（v1.5）》

中国移动通信集团公司

[64]

QB-Y-047-2011

《中国移动省级增值业务综合运营平台技术规范（v1.5）》

中国移动通信集团公司

[65]

QB-Y-048-2011

《中国移动省级NG2-BASS技术规范系统安全管理分册（v1.5）》

中国移动通信集团公司

[66]

QB-Y-044-2012

《中国移动省级NG2-BASS（v4.0）业务规范》

中国移动通信集团公司

[67]

QB-Y-045-2012

《中国移动省级NG2-BASS（v4.0）技术规范总册》

中国移动通信集团公司

[68]

QB-Y-045.1-2012

《中国移动省级NG2-BASS（v4.0）技术规范数据集市分册》

中国移动通信集团公司

[69]

QB-Y-045.2-2012

《中国移动省级NG2-BASS（v4.0）技术规范逻辑模型分册》

中国移动通信集团公司

[70]

QB-Y-045.3-2012

《中国移动省级NG2-BASS（v4.0）技术规范外部接口分册》

中国移动通信集团公司

[72]

QB-Y-045.4-2012

《中国移动省级NG2-BASS（v4.0）技术规范元数据管理分册》

中国移动通信集团公司

[73]

QB-Y-045.5-2012

《中国移动省级NG2-BASS（v4.0）技术规范数据质量管理子系统分册》

中国移动通信集团公司

[74]

QB-Y-046-2012

《中国移动省级增值业务综合运营平台业务规范V2.0.0》

中国移动通信集团公司

[75]

QB-Y-047-2012

《中国移动省级增值业务综合运营平台技术规范V2.0.0》

中国移动通信集团公司

[76]

QB-Y-047.1-2012

《中国移动省级增值业务综合运营平台技术规范数据管理分册V2.0.0》

中国移动通信集团公司

[77]

QB-Y-044-2013

《中国移动省级NG2-BASS（v4.5）业务规范》

中国移动通信集团公司

[78]

QB-Y-045-2013

《中国移动省级NG2-BASS（v4.5）技术规范总册》

中国移动通信集团公司

[79]

QB-Y-045.1-2013

《中国移动省级NG2-BASS（v4.5）技术规范数据集市分册》

中国移动通信集团公司

[80]

QB-Y-045.2-2013

《中国移动省级NG2-BASS（v4.5）技术规范逻辑模型分册》

中国移动通信集团公司

[81]

QB-Y-045.3-2013

《中国移动省级NG2-BASS（v4.5）技术规范外部接口分册》

中国移动通信集团公司

[82]

QB-Y-045.4-2013

《中国移动省级NG2-BASS（v4.5）技术规范元数据管理分册》

中国移动通信集团公司

[83]

QB-Y-045.5-2013

《中国移动省级NG2-BASS（v4.5）技术规范数据质量管理子系统分册》

中国移动通信集团公司

[84]

QB-Y-045.6-2013

《中国移动省级NG2-BASS（v4.5）技术规范安全管理技术方案》

中国移动通信集团公司

[85]

QB-Y-046-2013

《中国移动省级增值业务综合运营平台业务规范V2.5.0》

中国移动通信集团公司

[86]

QB-Y-047-2013

《中国移动省级增值业务综合运营平台技术规范V2.5.0》

中国移动通信集团公司

[87]

QB-Y-047.1-2013

《中国移动省级增值业务综合运营平台技术规范数据管理分册V2.5.0》

中国移动通信集团公司

[88]

QB-Y-044-2014

《中国移动省级NG2-BASS（v5.0）业务规范》

中国移动通信集团公司

[89]

QB-Y-045-2014

《中国移动省级NG2-BASS（v5.0）技术规范总册》

中国移动通信集团公司

[90]

QB-Y-045.1-2014

《中国移动省级NG2-BASS（v5.0）技术规范数据集市分册》

中国移动通信集团公司

[91]

QB-Y-045.2-2014

《中国移动省级NG2-BASS（v5.0）技术规范逻辑模型分册》

中国移动通信集团公司

[92]

QB-Y-045.3-2014

《中国移动省级NG2-BASS（v5.0）技术规范外部接口分册》

中国移动通信集团公司

[93]

QB-Y-045.4-2014

《中国移动省级NG2-BASS（v5.0）技术规范元数据管理分册》

中国移动通信集团公司

[94]

QB-Y-045.5-2014

《中国移动省级NG2-BASS（v5.0）技术规范数据质量管理子系统分册》

中国移动通信集团公司

[95]

QB-Y-045.6-2014

《中国移动省级NG2-BASS（v5.0）技术规范安全管理技术方案》

中国移动通信集团公司

[96]

QB-Y-046-2014

《中国移动省级增值业务综合运营平台业务规范V3.0》

中国移动通信集团公司

[97]

QB-Y-047-2014

《中国移动省级增值业务综合运营平台技术规范V3.0》

中国移动通信集团公司

[98]

QB-Y-047.1-2014

《中国移动省级增值业务综合运营平台技术规范数据管理分册V3.0》

中国移动通信集团公司

3.术语、定义和缩略语

下列术语、定义适用于本规范：

字母

名词

解释

C

CWM

CWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，给出了各种元数据结构的标准定义。

CWM标准的目的在于：

使数据仓库和商业智能软件的元数据在异构的数据分析工具、数据仓库平台、元数据存储库等系统之间进行交互。

E

ETL

特指从数据源系统到大数据平台的数据抽取、转换和加载。

G

管理元数据

描述大数据平台中管理领域相关概念、关系、规则的数据，主要包括人员角色、岗位职责、管理流程等信息。

H

核心元模型

大数据平台核心元模型是以CWM为基础扩展形成的，针对大数据平台的物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等主要实体进行精确定义，并要求各企业级省大数据平台统一遵循的元模型。

定义核心元模型的目的是建立大数据平台的统一元数据管理标准，为元数据管理的功能层与应用层解耦、为总部大数据平台和企业级省大数据平台的元数据交换和相互理解提供统一的语义基础。

H

核心元模型参照表

核心元模型参照表是对核心元模型中的枚举类型属性进行枚举值定义的编码表。

参照表为枚举类型属性的每个枚举值定义了唯一的编码，并明确该编码的语义，是核心元模型标准化定义的重要组成部分。

J

技术元数据

描述大数据平台中技术领域相关概念、关系、规则的数据。

主要包括对数据结构、数据处理方面的特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理环节。

S

数据处理过程

数据从数据源系统到大数据平台前端使用的整个处理过程，包含大数据平台数据仓库内部的数据抽取、转换和加载。

S

数据采集点

覆盖大数据平台数据处理环节的、获取每个环节运行状态的实体。

该实体可以是程序实体也可以是任务实体

S

数据质量报告

数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成的统计报告

S

数据质量监控

通过获取大数据平台各环节的数据质量监控信息，结合元数据库中的有关检查规则，对各个环节的数据质量情况进行判断，并及时向数据质量监控人员报告。

S

数据质量规则库

数据质量规则库是对数据质量管理活动所用到的各种判断及校验规则进行归类和存放的存储结构，存储的内容包括采集规则、监控规则、告警规则和审计规则等

S

数据质量信息库

数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等

S

省公司

中国移动通信集团各省（直辖市、自治区）移动通信有限公司。

S

SQL脚本

自动解析

SQL脚本自动解析指通过对SQL脚本的词法、语法和语义进行分析，自动生成满足CWM规范要求的数据处理过程的技术元数据的功能。

Y

业务元数据

描述大数据平台中业务领域相关概念、关系、规则的数据。

主要包括业务术语、信息分类、指标定义（指标口径）、业务规则等信息。

Y

元模型

元模型是描述元数据的基础模型结构，用于说明元数据对象的各种属性、结构和关系。

Y

元数据

元数据是描述数据间关系的数据。

大数据平台中元数据泛指描述数据概念（Concepts）、数据间关系（Roles）、数据处理规则（Rules）的数据，其中，领域语义（Semantics）和知识（Knowledge）也属于元数据的范畴。

D

数据标准

指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换的数据是一致和准确的，经协商一致制定并由大数据治理委员会主管机构批准，具有行业特点且共同使用和重复使用的一种规范性约束。

D

数据标准体系

指数据标准按照中国移动企业级省大数据平台需求对数据进行标准化的划分归类。

D

数据标准内容

按照数据标准体系划分的要求分别给出各数据标准制定的规范内容。

D

行业参考模型实体

中国移动规范中原定义或新增加的逻辑数据模型LDM实体。

D

公共代码标准

需要引用外部公共标准机构的标准。

如：

世界各国和地区名称代码等。

下列略缩语适用于本规范：

缩写

英文描述

中文描述

AST

AbstractSyntaxTree

抽象语法树

BOSS

BusinessOperationSupportSystem

业务运营支撑系统

CWM

CommonWarehouseMetamodel

公共仓库元模型

ETL

ExtractionTransformationLoading

抽取、转换和加载

OLAP

On-lineAnalysisProcess

在线分析处理

XMI

XMLMetadataInterchange

XML元数据交换

BI

BusinessIntelligence

商务智能

REST

RepresentationalStateTransfer

表述性状态转移

4.总体说明

4.1.概述

本规范用于指导企业级省大数据平台数据治理子系统建设，规定了企业级省大数据平台数据治理的范围和要求，明确了数据治理子系统的体系结构，制定了数据治理子系统的功能和处理流程。

数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功能模块。

本标准借鉴资产管理的方法理论来管理数据，将数据作为一种特殊的资产，对进入平台的数据进行标准化的规范约束，并以元数据作为驱动，连接数据的标准管理、数据质量管理、数据安全管理的各个阶段，形成统一、完善的数据治理体系，以解决实际业务问题为导向，增强数据治理子系统对业务发展的支撑能力。

4.2.目标

数据治理子系统的建设为数据治理工作提供强有力的系统支撑。

本期规范建设目标是以元数据为