数据稽核论文V07.docx
- 文档编号:10497047
- 上传时间:2023-02-14
- 格式:DOCX
- 页数:19
- 大小:310.98KB
数据稽核论文V07.docx
《数据稽核论文V07.docx》由会员分享,可在线阅读,更多相关《数据稽核论文V07.docx(19页珍藏版)》请在冰豆网上搜索。
数据稽核论文V07
企业信息化部
项目名称:
数据稽核项目
密级:
保密
版本:
共16页
中国电信股份有限公司北京分公司
数据稽核成果汇报
企业信息化部
版本修订记录
版本
作者
版本描述
完成日期
第一章项目背景
一.1数据一致性重要性
随着近年电信行业的多次整合,各运营商都在向全业务支撑方向发展,其内部信息化系统、网元设备和业务平台也在不断扩充,业务数据也随之向各个系统分散。
由于系统数量庞大且不断升级等原因,各平台间的数据一致率已经不容乐观,数据一致性维护工作的难度也不断加大。
在电信运营商日常的生产运营中,包括用户资料数据、用户费用数据、通信数据等方面的业务数据一致率至关重要:
一方面左右用户的通信服务质量;另一方面也是运营商内部的经营分析的主要依据。
随着市场竞争的日趋激烈,运营商在提升服务质量和精确化管理等方面的要求也不断提升,所以必须通过有效的手段提升并保障各平台间的数据一致性。
一.2数据差异带来的问题
中国电信股份有限公司北京分公司(以下简称“北京电信”)于2008年10月承接CDMA移动业务后,对信息化系统、网元和业务平台进行了多次升级。
整个承接和升级工作横跨不同运营商,不同服务商及公司内多个部门,涉及面广。
虽然在承接和升级工作中制定了科学的方案和周密的计划,但由于历史原因和升级过程中的阶段性不稳定等因素导致信息化系统、网元、业务平台间的数据差异现象比较突出,对日常生产运营造成了较大的影响。
图表1所示的数据是专项整治前信息化系统与各平台数据一致率情况,可以看出各平台间的数据一致率从60.74%至98.45%不等,数据差异现象比较严重。
加之承接移动业务后,整个生产运营过程缺乏对企业数据的管控流程和管理办法,各工作环节在数据一致性方面缺乏有效的规范,导致了数据差异量还在不断增长。
图表1项目实施前数据一致率情况
如此大的数据差异引起了诸如批开失败、用户开销户失败、通讯不畅、计费错误等服务问题,严重降低了北京电信对外服务质量,造成了用户投诉,加重了公司的维护成本。
表格1和表格2以AAA平台和短信平台为例说明在日常系统运维过程中由于数据不一致导致的错单情况。
表格1AAA平台每日错单情况
日期
2010.3.22
2010.3.23
2010.3.24
2010.3.25
2010.3.26
错单数量
136
243
157
234
238
表格2短信平台批开错单情况
日期
2010.10.17
2010.10.23
2010.11.17
2010.11.30
批开卡数量
10000
20000
25000
15000
失败数量
453
897
2234
330
AAA平台差异数据会导致用户无法手机上网。
短信平台的数据差异会导致用户无法正常使用短信功能。
其他各个平台(ISMP、彩铃平台等)的差异数据会导致用户无法使用相应服务。
数据差异问题导致用户投诉不断出现。
基于上述情况,北京电信成立了以公司领导挂帅的工作小组专项整治数据差异问题,小组成员涵盖市场、服务、网络、信息化、平台各个领域的人员,从管理和技术两个方面双管齐下,先提升数据一致性,随后制定相关的数据管理办法和流程,形成长效的数据一致性保障机制。
第二章问题分析及解决方案
二.1问题分析
工作小组对北京电信的各系统平台间的数据进行分析,发现差异数据的产生主要源于如下几方面的原因:
1.历史原因
北京电信的部分业务是从其他运营商承接而来,整个承接工作涉及多个系统和平台的割接,其中包括信息化系统、网元设备和业务平台等多方面的数据,承接时各系统和平台间的数据就存在较大的差异。
2.数据稽核缺乏集中管控和监控,无法形成长效机制
日常工作中缺乏对数据的集中管理、统一调度和事后核查,数据管理分散在多个部门和系统,具体问题会分解到相关部门和平台进行处理和解决,对于问题的发现、处理和确认过程缺乏有效的机制进行管理,例如在测试号发放工作、投诉处理工作中往往采用“头痛医头、脚痛医脚”的方式,仅解决问题数据所在的系统,忽略了对其他相关系统数据同步的操作,造成了差异数据量的不断增长。
3.数据稽核操作繁琐,缺乏有效技术手段
日常系统维护工作模式很难保障数据的准确性及完整性,系统维护人员更加侧重对功能上的维护,对数据一致性的维护工作则缺乏重视,没有周期性地开展数据清查工作。
同时传统的数据清查是以手工方式从各系统提取数据,再以手工方式进行格式转换、调整、核对、差异分析,最后更正,这种工作方式耗费大量的人力,周期较长,核查速度远跟不上数据的更新速度,效率极为低下。
所以即使耗费大量的人力物力,依然无法有效的降低数据的差异率。
从上述原因分析,北京电信需要在生产运营工作中形成对数据管控的闭环流程,控制差异数据的产生,同时利用有效的技术手段形成周期性的稽核机制,提高数据稽核的速度和精度,使数据一致性长期稳定在一个较高的水平上。
二.2解决方案
为了打破数据质量低下的困局,解决在日常系统运维中产生的问题,释放人力提高效率,北京电信工作小组制定了三步走的解决方案:
1.第一步:
清理差异数据。
对不一致数据进行分析,厘清不一致数据产生来源,逐步对各个平台分步骤进行清理,大幅提升数据质量;
2.第二步:
建设数据稽核系统。
从数据采集、比对、分析、策略确定、清理、验证的闭环流程,明确各个部门的职责;
3.第三步:
制定管理办法和流程。
通过建设数据稽核系统实现数据的自动比对,固化数据清理方案,实现数据稽核的闭环流程。
二.2.1清理平台差异数据
通过对差异数据的分析发现:
信息化系统与网元和平台的数据差异大致可以分为三类:
1.第一类:
网元平台比信息化系统多的数据;
2.第二类:
信息化系统比网元平台多的数据;
3.第三类:
信息化和网元平台均有数据,但数据字段不一致。
以CRM和HLR的比对结果为例,分析并说明不一致数据产生来源和数据清理方案。
二.2.1.1CRM和HLR不一致数据来源分析
表格3第一轮比对_CRM和HLR用户总量
CRM用户数量
HLR用户数量
3,135,580
3,184,670
对表格3用户数据按照用户手机号码MDN比对IMSI,比对结果如表格4所示。
表格4第一轮比对_HLR和CRM数据分类
分类
数量
占CRM总量%
占HLR总量%
一致用户数量
3,135,179
99.99
98.45
IMSI不一致
30
0
0
CRM有/HLR无
371
0.01
------
HLR有/CRM无
49,461
------
1.55
分析表格4差异数据产生来源得到表格5。
表格5差异数据来源
分类
数量
来源
IMSI不一致
30
CRM系统归档和补换卡返销问题导致。
CRM有,HLR无数据
133
HLR存在问题数据导致批开失败,HLR不存在签约数据
229
用户销户后,CRM未正确删除用户数据。
部分号码为收费号码。
9
营业员操作错误
HLR有,CRM无数据
932
承接CMDA网络时,从平台直接做到HLR的测试数据
41574
此部分号码从未在HLR登记过,是承接CDMA网络时迁移过来的问题数据
6123
此部分号码2008年11月后再HLR有登记记录,但是最近6个月内没有话单记录
832
此部分号码最近6个月内有话单记录,系无主用户
二.2.1.2CRM和HLR不一致数据清理方案
针对CRM和HLR的差异进行分析,在尽量不影响用户感知的情况下,制定CRM和HLR的清理方案,逐一进行实施清理。
以CRM和HLR的数据差异为列,说明HLR的清理方案,如表格6所示。
表格6差异数据处理方法
分类
数量
来源
处理方法
IMSI不一致
30
CRM系统归档和补换卡返销问题导致。
修复系统问题。
以HLR为准,刷新CRM系统数据。
CRM有,HLR无数据
133
HLR存在问题数据导致批开失败,HLR不存在签约数据
删除HLR问题数据,重新再HLR上添加正确数据。
238
用户销户后,CRM未正确删除用户数据。
部分号码为收费号码。
CRM删除已销户用户数据。
9
营业员操作错误
营业员在HLR补录数据
HLR有,CRM无数据
932
承接CMDA网络时,从平台直接做到HLR的测试数据
市场部和网络部核对哪些测试号需要保留,保留的号码在CRM中补录数据,其余号码删除。
41574
此部分号码从未在HLR登记过,是承接CDMA网络时迁移过来的问题数据
全部删除。
6123
此部分号码2008年11月后再HLR有登记记录,但是最近6个月内没有话单记录
全部删除。
832
此部分号码最近6个月内有话单记录,系无主用户
客服通过外呼方式在CRM补录数据。
二.2.2建设数据稽核系统
在第一步数据差异原因分析的基础上,北京电信工作小组开始数据稽核系统设计和建设中,利用技术手段建立专业的数据稽核平台,提升平台稽核的自动化程度和处理效率,并提出了“完全增量差异稽核法”,排除由于数据抽取时间差异、工单未竣工等数据变动因素,有力保证数据稽核正确性,有利于发现新增不一致数据和追踪不一致数据产生原因。
二.2.2.1系统功能
数据稽核系统总体的功能,是对每项具体的业务核对数据,进行数据采集和数据缺失分析、数据指标差异分析,并就差异情况进行明细列表,通过数据同步操作,减少系统间的资料差异,提高业务支撑系统的数据质量。
就每项数据核对业务而言,系统的数据稽核流程如图表2所示。
图表2数据稽核系统稽核流程
系统的总体功能架构如图表3所示。
系统以配置为基础,通过任务调度管理实现:
数据采集、稽核比对、异常分析、数据整改的循环处理。
图表3数据稽核系统功能架构
1.数据采集配置与执行:
针对稽核比对的各种外部接口数据,进行配置定义。
并通过后台任务调度,进行数据采集的自动执行。
数据采集配置如图表4所示,数据稽核系统能够自动采集接入平台的数据,实现数据采集自动化。
图表4数据采集配置
2.数据比对配置与执行:
依据数据比对的实际要求,进行数据比对实例和比对项目的配置,并通过任务调度,进行数据比对处理。
实现数据比对规则的配置化,如图表5所示。
图表5数据比对规则配置
3.稽核结果展现:
对每次比对稽核的结果,进行汇总展现。
如图表6所示,展示两部分内容,一部分是数据差异汇总结果,另一部分是按差异项细分的差异数据结果。
图表6数据比对结果展现
4.异常数据分析与展现:
对比对的异常数据,进行分析,通过分析,确定差异数据是否需要整改。
5.数据整改分析与展现:
对需要进行整改的异常数据,进行整改分析。
数据整改分析,也是对需要整改的数据,分批分析。
数据整改分析完毕后,将整改的批量数据,通过工单方式,提交给生产系统进行数据同步处理。
这样,才能最终完成数据比对的工作。
6.绩效评估与统计报表:
对差异数据分析和数据整改分析的绩效进行考评,对分析任务的执行情况进行考核。
目的是推荐数据整改工作,通过提高数据质量,实现收入保障。
7.任务调度:
任务调度模块,实现后台处理的任务调度和前后的工作任务分派与调度处理。
8.系统权限管理:
实现按登录帐号、部门、角色等区分的系统管理功能。
二.2.2.2完全增量差异数据稽核法
数据稽核项目的一个重要创新就是提出“完全增量差异数据稽核法”。
在数据稽核过程中,对于发现的差异数据,一部分差异数据系历史差异数据或不能确定清理方案,这部分差异数据将一直存在,一部分差异数据可能是由于抽取数据时间不完全相同、工单未竣工等原因造成,随着时间变化,这部分差异数据会消失。
“完全增量差异数据稽核法”能够克服以上两部分差异数据对数据稽核的影响。
完全增量差异数据
计算方法如公式1所示。
公式1完全增量差异数据计算法
其中
表示T日的不一致数据,
表示(T-1)日的不一致数据,
表示(T-2)日的不一致数据,
即计算出从T-1日开始连续2天仍为差异数据,且是T-2日后新增的差异数据。
这样就排除由于抽取稽核数据时间、工单未竣工的影响,能够真正发现当前或最近新产生的不一致数据,有利于发现并定位系统问题或者业务漏洞。
对于连续两次稽核仍为差异的数据,企信部将会同网络部,彻查不一致数据产生来源等,如果属于系统不稳定问题,将予以修复,如果属于业务漏洞,将知会市场部,以便制定相应的业务管理办法。
目前发现的系统不稳定问题和业务漏洞列表如表格7所示。
表格7数据稽核发现系统不稳定点和业务漏洞列表
编号
问题所处位置
问题描述
1
CRM
CRM补换卡返销后,系统资源归档不正确
2
补录数据
营业员开卡时,错误选择补录数据,导致CRM有数据,但是HLR没有数据。
3
CRM和ISMP平台实时接口
服开系统业务规则配置错误。
当用户“首话单激活”时,服开没有调用ISMP接口更改ISMP平台状态。
4
CRM和ISMP平台FTP接口
CRM通过每晚的FTP接口向ISMP同步数据,对于号码销户并马上重新开户的场景,ISMP接口会先提供一个正常状态记录,再提供注销状态记录。
记录顺序错误。
二.2.3制定数据管理办法
数据稽核工作涉及多个部门协调处理,亟需要制定数据稽核管理办法,以加强数据稽核的管控,保证各个平台数据的高度一致性,规范数据稽核的流程。
根据北京电信的组织架构,本着严谨的态度,并在符合公司的各项政策的基础上,企信部、网络部和市场部共同起草《中国电信北京公司数据稽核管控办法(试行)》和《中国电信北京公司数据清理规则说明书(试行)》。
对数据稽核工作,办法提出“企信部牵头,市场前端把控,网络部分析实施“三部联动”的方案,明确责任,减少由于数据稽核涉及的客户影响和系统影响。
北京电信企业信息化部、网络部、客服部、市场部通过数据稽核系统的工单管理流程进行日常数据稽核工作。
数据稽核工作主要分为三大部分:
数据比对,差异数据分析、差异数据清理和验证评估。
按照计划对各个平台进行数据稽核,对于发现的完全增量数据差异,彻查数据产生原因,厘清是系统问题还是数据管理漏洞导致问题数据。
数据稽核的流程如图表7所示。
图表7数据稽核流程
各个阶段的管理条例摘取如下:
数据比对阶段:
1.数据稽核相关各平台负责提取数据比对文件。
企信部负责比对CRM和各个网元平台的数据,提供差异结果。
2.企信部运维数据稽核系统,设定定时任务,按照比对规则,周期性比对各个平台并呈现差异数据。
3.为不影响企信部出账,每月1号,2号,3号,29号,30号,31号不进行数据比对。
数据分析阶段:
1.通过数据稽核系统的工单流转系统,企信部、网络部、市场部对完全增量差异数据进行分析。
企信部和网络部首先对从系统和系统间接口方面分析差异数据出现原因。
如果差异数据不属于系统或系统间接口原因,市场部再从业务管理上分析差异数据出现原因。
差异数据清理和验证阶段:
1.客户正常使用且发生费用类的差异数据,原则上应通过补录资料的方式修正;客户无法使用类的差异数据,原则上应通过在各系统中删除数据的方式修正。
2.前后台数据比对以CRM和HLR为标准,其他平台的数据以这两个平台为参照进行数据修正。
3.经明确清理规则的差异类型,出现增量差异时,企信部可以通过网元激活系统自动进行数据清理或通过人工派发单给网络部进行处理。
已经明确的清理规则见《中国电信北京公司数据清理规则说明书(试行)》。
4.对于难以清洗的异常数据,建立了以市场部牵头,企信部、网络部配合的“三部联动”解决机制。
每周,企信部汇总难以清理的异常数据集合,提交给市场部,由市场部组会召集各个相关部门参与数据清理。
5.批量数据清理涉及用户感知时,企信将数据提供给市场部,市场部通知客服统一投诉处理口径。
通过实施数据稽核管理办法,达到如下四个目的。
1.日常工作有保障:
数据稽核日常工作由市场部、网络部、企信部承担。
各部门按照设定的稽核流程,利用数据稽核系统自动工单,将需要处理的日常任务,自动发到相应的岗位,各岗位按要求进行处理,有价值的经验可以积累到知识库。
2.突发事件有预案:
通过系统,建立了跨部门协调的数据一致性突发事件的处理预案,在数据质量低于某一标准,系统将自动预警,并通知相关岗位紧急处理。
3.疑难问题有机制:
对于难以清洗的异常数据,建立了以市场部牵头,企信部、网络部配合的“三部联动”解决机制。
4.工作业绩有考核:
对各个稽核岗位的工作均有考核,由数据稽核系统支撑。
第三章效果分析
面临数据质量低下的困境,北京电信及时发现并分析了问题原因,从技术手段和管理手段两个方面双管齐下,集中解决现存的数据差异,并建立长效机制,有效的控制和监控数据差异问题。
在项目管理方面,将数据稽核项目划分为二期。
一期注重厘清问题数据来源,制定历史问题数据的清理方案并执行清理;二期重点是制定数据稽核管理办法,开发数据稽核系统以支持数据的自动比对和稽核流程管理。
三.1执行情况
数据稽核系统已经接入CRM、HLR、AAA、ANAAA、双模网关、IVPN、预付费平台、通信助理、IMSP、短信、彩铃等11个平台。
定期对各个平台进行完全增量差异数据稽核。
北京电信工作小组制定了数据稽核清理规则,并按照规则制定清理方案,清理数据量如表格8所示。
总共在各个平台删除157万数据,更新108万数据,补录25万数据。
各个平台的一致率均大幅提升,如图表8所示。
表格8清理数据量
数据清理类型
平台
删除数据数量
更新数据数量
补录数据数量
HLR
47697
3632
9
AAA
132040
950
36
ANAAA
4328
125
12
双模
16893
3289
412
IVPN
32346
7839
916
PPC
6648
-
47
短信
1024362
298783
244747
ISMP
134813
763873
345
彩铃
152019
19851
652
通信助理
27398
15
5961
总计
1578544
1082522
253137
ISMP平台准确率从60.7%上升至99.9%,短信平台数据一致率从68.7%提升至99.9%。
图表8各个平台数据一致率提升情况
同时由于数据不一致造成的错单和投诉均大幅减少。
双模网关的失败工单由月均293条减少到月均33条。
ISMP的投诉量由月均35例降低到1至3例。
短信批开的失败工单大幅减少,错单由3100例降到5例以下。
三.2项目特点
项目从实施至今,具备如下特点:
1.周期短、见效快
2009年4月项目启动,6月开始数据整改,截止到2010年12月底,数据一致率大幅提升。
提升自动开通激活成功率,缩短业务受理时间。
2.小投入、大产出
项目投资140万,预计每年为公司挽回损失500万元。
由于数据一致率大幅提升,减少了运维人员和客服人员的工作时间,释放人力。
网络部、客服部、企信部等部门释放的人力就达15人/年。
删除问题数据后,释放网元用户数量的license,提升了网元资源利用率。
3.流程化、精细化
通过数据稽核系统固化“数据采集、数据比对、问题分析、数据整改、效果评估”的闭环流程和“三部联查、三部联动”的稽核管理流程。
4.立足当下、着眼未来
通过建立数据稽核规则库,积累日常稽核经验,为日后数据稽核提供帮助。
三.3项目效果
通过数据稽核项目的实施,从管理和技术两个方面着手,解决了长期以来数据质量的管理难题。
精细管理:
建立“三部联查”、“三部联动”的数据质量管理体系,做到数据质量问题责任到岗、考核到人的精细化管理,提高了数据整改效率,使数据整改工作常态化。
建立了数据采集、数据稽核、异常分析、数据整改、效果评估的闭环流程。
技术领先:
建设数据稽核系统,以技术手段服务支撑管理。
通过技术手段大大缩减闭环稽核流程时间,提升工作效率。
并创新性的提出“完全增量差异数据稽核法”,大大减少稽核工作量,有利于发现定位系统问题。
随着项目不断深入,有利保障数据质量高位运行,取得了可喜的经济效益和社会效益。
经济效益:
整体数据质量由85.52%,提高到96.87%,整改异常数据290万条,预计年挽回损失500万元。
社会效益:
由于数据质量大幅提高,减少客户投诉。
如ISMP的投诉数量由月均35起减少到月均1至3起。
第四章附件
四.1附件一《中国电信北京公司数据稽核管控办法(试行)》
四.2附件二《中国电信北京公司数据清理规则说明书(试行)》
四.3附件三《中国电信北京公司数据稽核流程图》
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 稽核 论文 V07
![提示](https://static.bdocx.com/images/bang_tan.gif)