数据质量管理规范newv01Word格式文档下载.docx
- 文档编号:21557831
- 上传时间:2023-01-31
- 格式:DOCX
- 页数:8
- 大小:32.84KB
数据质量管理规范newv01Word格式文档下载.docx
《数据质量管理规范newv01Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《数据质量管理规范newv01Word格式文档下载.docx(8页珍藏版)》请在冰豆网上搜索。
2.5数据质量评估dataqualityassessment
由数据质量管理实施部门根据需要发起,得到评估结果并作为依据评估指标和评估方法进行评价,数据质量改进的参考和依据。
2.6数据质量报告dataqualityreport
对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析,形成统计报告的过程。
2.7数据质量知识dataqualityknowledge
在数据质量管理活动中获取的有关数据质量问题处理的经验和成果。
3数据质量管理内容与评价原则
管理目标与内容
数据质量管理目标
数据质量分为绝对质量和过程质量,绝对质量是指业务数据的真实性、完备性和自洽性,过程质量指业务数据的使用质量、存储质量和传输质量。
数据质量管理目标包括:
a)建立稳定运行的数据质量测控体系,及时发现并改正数据质量问
题;
b)建立可靠的数据质量评估流程,判断改进趋势,衡量数据质量改进效果;
c)建立一套改进、提升数据质量的管理机制。
数据质量管理内容
数据质量管理内容包括:
a)制定、修订数据质量管理遵循的标准;
b)确立、修订数据质量管理工作流程、优化部门协同机制;
c)制定数据质量管理决策机制;
d)监督日常数据质量管理的有序进行;
e)数据质量的核查。
数据质量影响要素
数据质量影响要素包括:
a)信息类要素:
由于对数据本身的描述、理解及其度量标准偏差而造
成数据质量问题的影响要素;
b)技术类要素:
由于具体数据处理的各技术环节异常而造成数据质
量问题的影响要素,技术实现上的某种缺陷是其产生的主要原因;
c)流程类要素:
由于系统作业流程和人工操作流程设置不当造成数
据质量问题的影响要素;
d)管理类要素:
指由于人员素质及管理机制方面的原因造成数据质量问题的影响要素。
数据质量评价原则
数据质量评价原则包括:
a)完整性:
数据是充分的,任何有关操作的数据都没有被遗漏。
主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失;
b)唯一性:
数据值被约束成一组独特的条目,每个值都是唯一的。
主要包括主键唯一和候选键唯一;
c)准确性:
数据必须真实准确的反映实际发生的业务;
d)精确性:
计量误差、度量单位等方面的精确度应符合业务需求;
e)一致性:
描述数据结构、数据值和他们的相互关系符合逻辑规则的程度。
如统一数据来源、统一存储和统一数据口径;
f)及时性:
数据更新、修改和提取等的快速性程度,应符合业务需求;
g)合规性:
数据格式、类型、域值和业务规则的有效性。
4相关部门职责
概述
相关部门包括以下部门:
业务主管部门、技术主管部门、技术承办单位和数据质量管理实施部门。
业务主管部门职责
主要职责包括:
a)对于拟开发的应用项目,对相关业务提出数据质量约束性需求;
b)对于在开发的应用项目,从业务角度提供数据质量检测方法和验
收标准;
c)对于已运行的应用项目,根据应用状况提出数据质量问题和改进
建议;
d)受理与本部门业务相关的数据质量管理协同通告,并作出处理反
馈。
技术主管部门职责
技术主管部门是数据质量的主管部门,主要职责包括:
a)组织制定、颁布数据质量管理、保障、控制和维护流程;
b)组织制定、颁布数据质量管理和技术相关标准;
c)监督数据质量问题处理的整个流程并对数据质量的监控结果进行
评估;
d)组织、协调相关部门,解决数据质量管理活动中的异常问题;
e)受理、审批数据质量需求变更;
f)针对已处理的数据质量问题发起处理效能评估;
g)数据质量管理其他有关事项。
技术承办单位职责
a)协助数据质量管理实施部门解决业务应用系统数据质量问题;
b)协助业务主管部门提出数据质量管理的业务需求;
c)协助数据质量管理实施部门处理数据质量需求变更评估。
数据质量管理实施部门职责
受技术主管部门委托,负责数据质量管理的具体实施。
主要职责包括:
a)监控数据质量问题;
b)提出数据质量问题改进建议;
c)依据数据质量管理处理流程,负责数据质量管理系统运维;
d)处理数据质量监控系统告警,并向相关部门通告数据质量问题;
e)经主管部门授权后,负责组织解决相关的数据质量问题;
f)组织处理数据质量需求变更的评估;
g)形成报告并报技术主管部门;
h)协助业务主管部门提出数据质量管理的业务需求。
5数据质量管理工作流程
工作流程图
图中虚线表示为可选流程
关键环节说明
业务需求提由
业务主管部门依据业务工作的实际情况,在业务需向技术主管部
门提出相关业务系统的业务需求。
求提出过程中,技术承办部门和数据管理实施部门应协助业务主管部门,就特定业务应用系统,归纳并提出业务需求。
业务需求审批
技术主管部门在受理业务主管部门提交的业务需要后,应对业务
需求在规定时限内进行审批,并将审批意见告知业务需求提出部门。
技术评估
对于审批通过的业务需求,数据质量管理实施部门应在规定时限内,组织相关部门和人员,对业务需求进行技术评估,并给出评估结论。
技术承办单位,应协助科技主管部门开展业务需求的技术评估。
系统设计开发
技术承办单位对已完成技术评估的业务需求,应依据业务需求组织并实施应用系统的设计与开发。
测试验收
对于技术承办单位已完成开发的应用系统,具业务主管部门应在规定时限内组织测试与验收。
技术承办单位和数据质量管理实施部门应协助业务主管部门,完
成测试与验收。
系统上线运维
对业务主管部门已验收的应用系统,数据质量管理实施部门应组织实施应用系统的上线和日常运维工作。
技术承办单位应协助、配合数据质量管理实施部门开展应用系统的上线工作。
数据质量监控
对已上线的应用系统,数据质量管理实施部门应利用数据质量管理系统,开展数据质量监控,并定期提供数据质量监控报告。
告警分析与问题通告
在数据质量监控过程中产生的告警信息,数据质量管理实施部门应在规定的时限内开展告警信息分析,并对告警产生的原因作出判定。
对于一般性告警信息,数据质量管理实施部门可直接按照操作规程给予处理,如:
系统断电等原因产生的告警;
对于严重告警信息,应将告警产生的问题通告技术主管部门和相关业务部门。
一般性告警是指系统运行环境异常或操作失误等导致的、具
有偶发性、在短期内恢复且不产生严重后果的数据质量监控告警。
问题处理授权
技术主管部门在受理数据质量管理实施部门通告的数据质量问题后,应组织协调问题所涉及的相关部门,协同确认并授权数据质量
管理实施部门解决问题。
问题解决
数据质量管理实施部门在获得授权后,应组织开展解决问题的工作并予以完成。
技术承办单位应协助数据质量管理实施部门解决问题的工作。
处理结果确认
对已处理的数据质量问题,数据质量管理实施部门应将问题处理结果在规定时限内通告技术主管部门、业务主管部门和技术承办单位。
处理结果反馈
各相关部门收到数据质量问题处理结果后,应在规定时限内对问
题处理结果给予确认,并将确认结果和建议反馈数据质量管理实施部门和其他相关部门。
数据质量管理报告
数据质量管理实施部门应定期编写数据质量监控报告,归档备查
数据质量问题处理解决后应编写数据质量问题分析报告,报送相
关部门。
对数据质量监控报告和问题分析报告进行总结,编写数据质量定期总结报告,报送相关部门
6数据管理管理活动
数据质量管理活动的主要内容参见附录A。
附录A
(资料性附录)
数据质量管理活动
A.1数据资源变更管理
数据资源变更会引起系统内部和系统外部的数据质量问题。
数据
资源变更管理主要是利用元数据管理的分析功能对系统变更信息进行影响评估,并将变更信息及时告知数据质量管理相关部门,协同各
部门完成数据资源变更处理工作,避免变更引起的数据质量问题。
A.2数据质量监控
A.2.1数据采集存档
数据质量管理业务应在HG业务系统数据处理相关环节采集数据,供数据质量监控分析使用并存档。
A.2.2数据质量分析
根据监控数据对象性质的不同,采用多种定性或定量预警分析方法进行数据质量评价。
A.2.3告警管理
根据告警所反映的数据质量现象的严重程度、影响范围,设定严
重性程度不同的告警级别。
每一级别告警信息的发送都应具备多种送达手段。
从数据采集、预警分析到告警生成,每个阶段都需进行程序化管理。
A.3数据质量问题处理
指对数据质量管理中产生的各类问题进行分析,并根据分析结果,方法进行处理,选择适当的方式、并根据处理效果归纳总结的处理过程。
关键环节包括:
问题发现、问题分析、问题通告、问题解决指派、问题处理方法设计、审评、实施和问题总结。
A.4数据质量评估
指利用各种评估方法(如:
直接评估法和间接评估法),根据数据质量问题影响程度的不同,以评估报告等形式,对数据质量的给以评价和改进建议。
A.5数据质量报告
数据质量报告是对数据资源变更管理、数据监控、数据质量分析、问题处理以及数据质量评估等过程积累的各种信息进行汇总、梳理、统计和分析,形成统计报告的过程。
数据质量报告的发布具有一定的时效性。
用户应在所赋权限范围内查看质量报告,防止信息泄露。
数据质量报告的归档要求将相关报告按照分类,作为后续数据质量问题处理和分析的参照。
A.6数据质量知识管理
历史数据质量知识的积累为数据质量问题的解决提供参考方法。
数据质量知识主要来源于对数据质量问题的记录与总结,以及对
问题解决过程自身的知识评价。
数据质量知识的产生与利用过程是一个互相促进改良的过程,为
数据质量管理的其他活动提供重要的支撑。
参考文献
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 质量管理 规范 newv01
![提示](https://static.bdocx.com/images/bang_tan.gif)