数据治理现状评估最新.docx

数据治理现状评估最新.docx

《数据治理现状评估最新.docx》由会员分享，可在线阅读，更多相关《数据治理现状评估最新.docx（28页珍藏版）》请在冰豆网上搜索。

数据治理现状评估最新

■数据治理现状评估

1.1.1数据治理评估体系建立

1.1.1.1设计能力成熟度评估参考维度

能力成熟度模型（CaPab^ityMatUrityMOdeI）最早是美国卡内基•梅隆大学软件研究所（SEl）在1987年针对软件开发过程提出来的，即SW-CMM,软件能力成熟度模型。

它的核心思想是把软件开发视为一个过程，对这个过程定义五个级别，在每一级中，定义了达到该级过程能力水平所应进行的关键步骤和解决的关键问题。

在随后的二十多年，国际上各种IT治理和数据治理理论和框架得到了很大的发展，这些国际主流的数据治理框架，从Gartner>Cobit、DAMA、DGl,不约而同，都借鉴了SW-CMM的思想，设计相关的评估维度或能力成熟度指标，利用能力成熟度等级的方法来对相关对象进行评估。

能力成熟度评估的通常步骤包括：

调研、访谈、评佔维度和评佔标准调整、权重设置、能力成熟度评估、GdP分析（与高级成熟度和最佳实践进行比较）、宏观建议、现实问题分析和可操作建议，最终产出能力成熟度报告。

能力成熟度评佔的根本IJ的和意义在于指出评佔对象在各评估维度以及综合能力上的大概位置，从宏观上指出下一阶段发展的方向，从微观上对一些现状调研中发现的具体问题进行分析，给出现实可行的可操作建议。

能力成熟度等级大多分为四到五级，包括综合能力等级和各评估维度的能力等级。

评估维度或能力指标通常只有一层，而且各评估维度在综合能力等级评估的占比通常没有量化，也不固定。

各能力等级的评佔标准，大多用文字描述，通常没有具体的量化描述，相对依靠专家的理解和经验。

在研究了Cobit、DAMA、DGl等国际主流数据治理框架的基础上，以数据治理能力成熟度模型为蓝本，结合实际情况，以下给出了针对证券行业的数据治理能力成熟度评估的参考维度，如图所示：

•技术标准

•业务标准

•标准执行

型问亠字棋访共据据摇数数数•••

数据架构

√•数据安全

•数据猊私

数据安全

根据数据治理能力成熟度评估参考维度，结合大量的实际工作经验，建立了适合的数

据治理能力成熟度评估参考标准，如表所示：

表数据治理能力成熟度评估参考标准

评估

能力成熟度阶段

维度

初始阶段

基本管理阶段

主动管理阶段

量化管理阶段

持续优化阶段

建立了相关流

缺乏相关岗

程，但有些重

组织、职责和

位，组织职

在开发阶段有

业务和技术相关

流程体系已融

责不淸晰：

相关岗位，但

治理人岗位、职

不了解或不

仅局限在项目

责淸晰：

对数据

认同组织.

范帀内：

有些

的访问控制仍局

职责和流程

部门承担着跨

限于应用级别：

体系。

对企

项目的部分数

责任人负责跨项

业的信息资

据责任。

对部

目的数据质量。

S

产的使用没

分信息资产的

正式颁布了相关

有相关制度

使用，建立了

制度来管理部分

fa.l—>WJ4∣J♦Tr

来规范；在

管理制度:

针

信息资产的使

得到多数员工

信息披露、

对法律法规的

用：

颁布防范法

的认同：

防范

介FlΛ*II'I（IIIlI⅝⅜•,lM/KIlJIrJ<-K∙♦

合规方而，

要求，制定了

律风险相关制

法律风险的相

防范法律风险

企业也没有

一些政策：

部

度：

部分业务线

关制度已正式

的制度得到彻

正式的制度

分业务线已给

已颁布了正式的

颁布并执行：

底执行；已颁

来控制：

没

岀了非正式的

数据管控制度，

已颁布了企业

布了企业级的

有给予数据

政策来支持数

但没有很好地贯

级的数据管控

数据管控制度

管控工作以

据管控工作。

彻执行。

制度，但没有

并得到彻底执

政策支持。

很好地贯彻执

评估

能力成熟度阶段

维度

初始阶段

基本管理阶段

主动管理阶段

量化管理阶段

持续优化阶段

≡

发量流质有没手据检内沟式质旳据没也对数动业乏K题数陀‰κ企缺O没现问亀创评有工比埜部：

⅛

没有集中管理数据质量问题：

企业正在考虑数据质量标准化的问题，但缺乏驱动力：

部分手工数据有系统自动检査：

很少进行数据质≡相关的沟通。

集中管理数据质量问题，但管理流程不完整；主要部门已实施数据质量标准：

多数手工数据有系统自动检查；左期有正式的会议讨论数据问题发生的原因。

题，审<••至都••据讨问理行质备传前验数的⅛管进据完上用校与因质中期数很在应过参原据集是••准据键经员题。

数已且核标数关已全问论

数据质量问题已集中管理，且左期进行审核：

输入界而已有严格控制，防止输入错误数据；系统间交叉检查数据的一致性：

全员参与数据问题原因的讨论。

数据质量

发量流质有没手据检内沟式质的搦没也对数动业乏正据和数题，统入自企」有数题；讨级系输行••縮没现问亀Mf评有工比毎部通

没有集中管理数据质咼问题：

企业正在考虑数据质量标准化的问题，但缺乏驱动力：

部分手工数据有系统自动检查：

很少进行数据质量相关的沟通。

集中管理数据质量问题,但管理流程不完整；主要部门已实施数据质量标准；多数手工数据有系统自动检查：

左期有正式的会议讨论数据问题发生的原因。

题，审<••至都••据讨问理行质备传前验数的

M管进据完上用校与因质中期数很在应过参原据集宦••准据键经员题。

数已且核标数关已全问论

数据质量问题已集中管理，且左期进行审核：

输入界而已有严格控制，防止输入错误数据；系统间交叉检查数据的一致性；全员参与数据问题原因的讨论。

数据安全

缺乏安全和隐私的相关政策。

没有隐私政策来维护相关的法律法规。

信息资产没有明确相应的所有人。

制定了部分规左，但没有正式成文。

有一些基本的隐私政策来维护相关的法律法规。

信息资产被随意地分配，且没有明确责任。

有部分基本安全建立且已经正式成文。

有成文的隐私政策来维护相关的法律法规。

重要的信息资产被明确并分配给具体相关人。

很多安全规左已建立且正式成文。

规左包含了人事、物理和信息资产•且对其有公认的定义。

有成文且健全的隐私政策来维护相关法律法规。

所有信息资产都被明确和分配给相关人a

很多安全规左已建立且以书而形式正式成文。

规左包含了人事、物理和信息资产，且有认可的定义、年检以及更新。

规定经常被改善以保证持续性和符合数据规范。

所有信息资产都被明确和分配给具体的所有人，所有人有责任保证资产安全。

评估

能力成熟度阶段

维度

初始阶段

基本管理阶段

主动管理阶段

量化管理阶段

持续优化阶段

没有淸晰的数据架构:

共享给其他部门时，业务部门无法管理和维护数据；无法整合客户信息。

任少管享着信正很能共始户陶••门护开客架中部维••合据设务和据整。

数建业理数手息

建立了完整的数据架构，但还没有很好的利用：

有些业务部门能管理和维护共享数据：

已经整合了一部分客户信息°

数据架构被广泛的应用；技术专家能对共享数据进行管理、维护：

大部分的客户信息已得到整合。

数据架构被广泛的应用；业务和技术专家都能管理、维护、跟踪数据的共享情况；客户信息全部整合，包括客户相关的产品、服务信息。

1.1.1.2制定能力成熟度评估指标构建原则

能力成熟度评估的过程，是一个基于现状调研和分析的评价过程，是对企业的数据治理各个方面进行综合评佔的过程。

一个企业后续的数据相关业务如何建设、发展和改进，能力成熟度评估是首要的环节。

要通过能力成熟度评估找到企业数据业务方面的真正短板,这就要求能力成熟度评估体系能够做到对企业全方位、多层次、综合性的客观评估。

与此同时，这套评佔体系的构建还应当充分体现国家监管层对证券企业数据业务发展方向的导向，体现国家鼓励企业以大数据分析为基础进行自主创新等各项政策的要求相一致。

数据治理能力是一个相互联系、相互制约的要素构成的有机整体，是一个相对复杂严密的系统。

对于这个系统，简单的分解为若干个指标进行分析显然是不够的，但是不构建一个指标体系乂无法进行深入研究，因此构建一个符合监管要求和企业特点的、科学的、系统化的、层次分明的，可操作性强的数据治理能力成熟度评估指标体系是非常必要的。

数据治理能力成熟度评估指标的设讣必须遵循以下原则：

•可操作原则：

能力成熟度评估的方法和指标必须是可操作的，即评估指标的内容要求是可获取的，这是能力成熟度评佔的基本原则要求。

设讣的每一项指标是应该能给予评估的，所以，每一项指标都应该具有横向的可比性，且能最终量化为分数。

可操作性原则直接关系到能力成熟度评佔体系是否具有实用价值。

•Ll的性原则：

对数据治理能力成熟度评估应该有着明显的LI的性。

第一，构建出来的指标应该能为企业数据业务发展服务，且在评估过程中客观地对企业某方面的数据能力作出评佔，为领导层的战略决策提供依据；第二，能力成熟度评估包含面对企业的微观操作。

通过评佔，使企业明确自己的数据业务状况和与业界先进水平存在的差距，分析制约企业数据能力发展的因素，提出有效的改进措施，从而不断增强企业数据治理能力。

•科学性原则：

指标力求能够客观、全面的反映公司数据治理能力的全貌,，并能准确把握数据治理能力的核心方面，能基本预测公司未来的数据治理能力发展方向。

•定量为主、定性为辅，定量定性相结合的原则：

在评佔中，反映企业数据治理能力的指标有两类：

一类是定量指标，即根据现有情况的统讣和计算出来的客观指标，可以得出该指标的汁算值；另一类是定性指标，该类指标无法或难以量化，只能通过专家主观判断来确定，并将专家主观判断结果定量化来进行评佔。

在评估活动的应用实践中，评估指标一般大部分以定性指标为主，以少量的定量指标为辅。

•全面性原则：

企业数据治理能力评估体系是个复杂的系统，要全面的评价企业的数据治理能力成熟度，就要求依据能力成熟度评估框架，逐层的细化评佔指标，而且这些指标要有广泛的代表性和足够的覆盖面。

要从不同角度、不同层次来反映企业数据治理能力的客观惜况。

1.1.1.3构建能力成熟度评估参考指标

在对数据治理匸作开展情况进行定性评估发现差距和改进点的基础上，也可以对数据治理效果进行评估，Ll的是进行数据治理监督考核。

基于前文设计•的能力成熟度评佔参考维度，在遵循指标构建原则的基础上，围绕数据治理能力成熟度评估框架内容，提出了包括数据规范性、数据完整性、数据准确性、数据一致性、数据及时性、数据问题响应能力、数据安全性、数据可用性、数据整合度等9大类参考评估指标，具体如表所示：

表数据治理能力成熟度评估参考指标

指标类别

评估指标

指标描述

评估维度

数据规范性

标准制定率

已经制左的标准占所有数据项的百分比。

可以分主题进行评估，例如客戸类、机构类、产品类、合约类等。

数据标准

违标准反数

对于已制左了标准的数据项，每出现违反标准的系统字段设计，记为一次。

元数据错误次数

元数据血缘分析、影响分析等过程中发现的元数拯与实际情况不符的次数

指标类别

评估指标

指标描述

评估维度

数据完整性

自动采集率

针对特左专题或应用，报表、信息披露报表等，无需手工干预能够由系统自动加工生成的数据项，占所有所需数据项的百分比。

数据质量

数据项缺失率

针对特左专题或应用，系统无法自动采集的数据项，占所有所需数据项的百分比。

数据准确性

数据准确率

针对特左专题或应用，通过系统数据采样和实际调査，数据值符合实际情况的记录数，占所有记录数的百分比。

主键唯一性

对于作为主键的列，出现重复记录的情况。

数据一致性

表间一致性

同一系统内，不同数据表之间的数据引用（主键外键）一致性。

系统一致性

不同系统之间，描述同一数据的一致性。

数据及时性

数据传输及时率

数据在传输过程中满足需求的情况。

数据处理及时率

数据在ETL.加工、发布过程中满足需求的情况。

数据问题

数据问题处理

当月处理的数据问题占当月所有发现问题的百

响应能力

率

分比。

数据问题平均处理时间

数据问题从发现、到分析、到解决整个过程花费的平均时间。

数据安全性

数据安全事件率

由于数据安全引起的事故占所有运行事故的百分比。

数据安全

数据安全事件平均处理时间

数据安全事件从发生.到分析、到解决整个过程花费的平均时间。

数据可用性

正常访问拒绝次数

出现拒绝有权访问的对彖进行正常数据访问的次数。

数据整合

度

数据存储份数

同样的数据在生产、备份.测试、归档等各种环境下.各个系统中的重复存储份数.

数据架构

1.1.2数据治理现状总体评估

如下图表对证券公司评估体系的一级维度和二级子维度的表示:

一级维度

权重（%）

二级子维度

权重（%）

数据分布

20

主数据原则

30

数据分布完整性

20

数据可追溯性

25

数据冗余

25

数据传输

15

传输规划

30

沟通协调机制

15

数据准确性

10

数据及时性

25

支撑平台

20

数据存储

10

存储平台设计

30

分层存储

40

一级维度

权重（%）

二级子维度

权M（%）

存储成本

30

数据质量

15

管控架构

15

管理规范

15

管理流程

20

数据质量规则管理

20

数据质疑指标

15

支撑系统

15

数据生命周期

5

政策

15

管理机制

15

需求管理

25

数据合理化

10

归档销毁

35

数据标准

10

标准框架

25

标准内容

20

标准管理

25

标准执行

30

元数据

10

元数据的管理

30

元数据的分析

30

元数据的使用

20

元数据的获取

20

组织机构/流程

10

组织机构

25

数据管控流程

25

制度

15

考核

25

培训

10

支撑平台

5

平台使用现状情况

40

平台支撑建设情况

30

未来平台规划情况

30

整个评估体系中每个大的维度下都有二级子维度（总计39个），每个子维度下均有明确的评价指标（总计79个）。

基于每个评价指标对现状进行评估，得到相应指标的分值。

整体评分的计算方法如下：

（1）将评估指标所得分数×其所占二级子维度权重×二级子维度占整体权重，即可得到该项指标在整体评估体系中的得分；

（2）将每个维度下的子维度指标得分相加，即可得到每个维度的评估分值；

（3）在计算得到数据分布、数据传输、数据存储、数据质量、数据生命周期、数据标准、元数据、组织机构/流程、支撑平台9个维度的得分后，则可采用雷达图将其以图形化的方式表达出來；

（4）整体的评估分值，则在以上所得到的9个主维度的得分基础上，分别乘以其在整体中所占的权重，相加得到。

根据以上评佔得到的整体成熟度的分值，结合数据治理能力成熟度评佔模型，就可很清晰的看某个公司的数据治理的成熟度水平了。

下图是数据治理能力成熟度评估标准：

・est3为怙苑且共京魏.

・库Eb«2低为俶翊可用笳•为・黃也过各比■勇伶■簸

・S⅜2XK）l力餉心・

・gBfrE钩化的.型仪W介

・晁立只&前■成.伕®tn∙ιc化

・fiΛK!

t:

■于Rfttf）

・e*ΛW.SOAtfi>⅛*・

如图，将数据治理能力成熟度整体分为5级，按照1—5分进行相应的成熟度描述，下

表对数据治理能力成熟度的评估标准从业务能力和系统能力两个重要方面进行了描述。

表数据治理能力成熟度评估标准

分值

成熟度

价值

业务能力

系统能力

1

初始阶段

数据帮助业务运作

各业务条线独立管理，满足基本的业务办理，反映局部的业务现象，风险点零散管理。

数据：

结构化的内容、静态的；集成：

无连结、孤立、非集成的解决方案：

应用系统：

孤立模块、依赖特左应用系统：

基础架构：

复杂.关系混乱、特定平台的；

2

基本管理

信息用来管理Ik务

业务条线间部分交叉，有一泄的业务协调，不同的业务办理口径，业务信息共享度较差，多种版本的真实情况。

数据：

结构化的、有组织的：

集成：

有部分的集成、孤立的情况依然存在：

应用系统：

基于组件的应用系统：

基础架构：

层级式的架构.特泄平台的：

3

主动管理

信息为战略资产

全企业的集中管理，业务交叉达到一泄程度，业务流程趋于全行化，较全而的绩效管理策略，唯一版本的真实情况。

数据：

基于标准的、结构化的、以及部分非结构化的；集成：

孤立系统的集成、信息的虚拟化；应用系统：

基于服务的：

基础架构：

组件式的、SOA逐步浮现、特泄平台的：

分值

成熟度

价值

业务能力

系统能力

4

量化管理

信息促进创新

企业战略导向的管理，全企业业务髙度统一，信息激发的流程创新，以绩效激励为目的的绩效考核。

数据：

无缝连结并且共享的、信息和流程分离、结构化和非结构化信息完全整合：

集成：

信息作为一种随时可用的服务；应用系统：

流程透过％式服务而集成：

有序的业务应用系统；基础架构：

有随时恢复的能力的SOA.不限于特左技术的：

5

持续优化

信息成为jblk核心竞争力

贯通企业内外有弹性的、具适应力的业务环境，战略业务创新的促进能力，企业绩效和运营的优化，战略洞察力.

数据：

所有相关的内部及外部信息无缝连结并且共享、新增的信息很容易加入；集成：

虚拟化的信息服务:

应用系统:

动态的应用系统组合：

基础架构：

动态的、可重新配垃的、侦测和回应：

1.1.3数据治理评分标准的细化

以下就招标文件特别关注的组织架构、政策制度、管理流程、信息系统等4个方面的成熟度评估方法和调研表内容做岀更详细的说明。

1.1.3.1组织流程制度成熟度得分标准

表组织流程制度成熟度等级评估得分标准表

等级得分

成熟度名称

得分标准

5

持续优化

1）相关团队已较为成熟，解决问题的效率大幅提髙

2）有相关的流程来教育和管理数据治理的业务和技术知识

3）经理会为员工制定相关培训和认证计划

4）集中管理、维护和沟通所有信息管理制度、要求、指引和标准的流程与制度（如：

客户，合作伙伴和员工的信息访问权限等）

5）相应的数据治理沟通计划提供了有效、高效的渠道向整个组织宣传信息管理计划的价值，全员认同数据是企业的重要资产

6）防范法律和规章风险的策略不仅制定，而且得到彻底执行（如：

跟踪信息管理的总体合规情况并关注数据责任的策略，信息管理计划通过确保每位员工的合规和责任来推动整个组织的信息管理）

7）已颁布了企业级的数据治理策略并得到彻底执行

8）—直常规性地、坚持左期审视信息管理的制度和程序，从此类审视中得到反馈，促进对企业信息管理目标的深入共识

4

量化管理

1）不断扩充团队的力量

2）不仅定期进行培训，成员之间也经常主动沟通

3）有相关的流程来教育和管理数据治理的业务和技术知识

4）跨部门的数据治理工作已覆盖了大多数应用或部门

5）较为全而的策略（如：

信息管理制度、要求、指引和标准的流程与制度）已颁布，并得到多数员工的认同

6）防范法律和规章风险的策略已正式颁布并执行

7）已颁布了企业级的数据治理制度，但没有很好地贯彻执行

8）已经实施了常规性地、坚持立期审视信息管理的制度和程序

3

主动管理

1）设定了专岗和专门的部门来解决数据问题

2）定期进行培训和经验分享，不断提髙员工能力

等级得分

成熟度名称

得分标准

3）开始了跨部门的数据治理

4）已制定此类数据治理沟通计划，但还未实施

5）正式颁布了相关策略和制度来管理部分信息资产的使用

6）颁布防范法律风险相关制度

7）部分业务线已颁布了正式的数据治理制度，但没有很好地贯彻执行

8）已经制N了常规性地、坚持立期审视信息管理的制度和程序，还没有完全实施

2

基本管理

1）偶尔会临时成立团队来解决复杂数据治理问题

2）有部分的培训和经验分享计划，但没有制度化

3）少数部门开始了内部的数据治理工作

4）存在一些零散的数据治理沟通计•划，但是未统一

5）对部分核心信息资产有较为全而的控制策略，但是没有正式建立管理制度

6）防范法律和规章风险的部分策略是存在的，但还不完整

7）部分业务线已给出了非正式的策略来支持数据治理工作，例如技术

部门内部进行的数据治理工作

8）对某些信息管理的制度和程序进行过审视，但是并没有形成制度化

1

初步管理

1）依赖个人的能力解决数据问题，没有设定专业的组织

2）没有持续的培训和改进计划，员工没有接受专业培训

3）没有开展正式的数据治理工作

4）没有数据治理的沟通汁划，数据治理的实践无法共享

5）对企业的信息资产的使用没有相关制度来规范

6）在信息披露、合规方而，企业也没有正式的制度来控制

7）没有常规性地、定期审视信息管理的制度和程序

现状评估分值

按照组织流程制度的五个子维度对某公司数据治理的组织流程制度方面的现状进行整

体评估，评分结果如表所示：

表组织流程制度评估得分

一级维度

二级子维度

某公司得分

参考分值

组织流程制度

组织机构

2

3

数据管控流程

2

3

制度

2

3

考核

1

3

培训

2

3

按照以上五个领域对某公司组织流程制度现状进行评估，计算得分为1.75,参考分值

为3.OOo按照数据治理能力成熟度评估标准来看，某公司组织流程制度成熟度所处的位置

1.1.3.2支撑平台（信息系统）成熟度得分标准

表支撑平台（信息系统）成熟度等级评估得分标准表

等级得分

成熟度名称

得分标准

5

持续优化

1）支撑平台和信息系统管理流程已很健全，并用于所有部门

2）多数应用系统和数据项都能被完全覆盖支撑，

4

量化管理

1）支撑平台和信息系统管理流程已很健全，并用于大多数项目

2）多数关键应用系统和数据已能被完全支撑

3

主动管理

1）补充支撑平台和信息系统管理流程，并已施用于新建项目

2）所有系统都记录了数据来源和使用者信息

2

战木管理

1）初步建立了支撑平台和信息系统管理相关的流程

2）有些支撑平台和应用系统记录了数据的来源和使用者信息

1

初步管理

1）没有/不了解支撑平台和信息系统的规则

2）系统间数据的流向无法整合追踪，没有系统集成

3）各部门各自为政

按照支撑平台的三个