数房销售数据查询平台软件设计说明书.docx
- 文档编号:9696554
- 上传时间:2023-02-05
- 格式:DOCX
- 页数:30
- 大小:558.24KB
数房销售数据查询平台软件设计说明书.docx
《数房销售数据查询平台软件设计说明书.docx》由会员分享,可在线阅读,更多相关《数房销售数据查询平台软件设计说明书.docx(30页珍藏版)》请在冰豆网上搜索。
数房销售数据查询平台软件设计说明书
1系统介绍
数房销售数据查询平台软件基于先进的BI技术,采用B/S架构,
1.数据管理专家:
将Excel、Access、Foxpro以及易表的优势融合在一起,普通用户不需要编写任何代码,即可高效完成日常数据管理和统计分析工作,真正做到拿来即用。
2.程序开发专家
不仅是一个优秀的应用软件,同时又是一个高效率的软件开发工具,几乎人人都能掌握。
普通人也能开发出让资深程序员目瞪口呆的数据库软件,不再是天方夜谭。
3.报表输出专家
提供了四大报表设计工具,既有可视化的,也有使用模板和代码的,不仅能快速设计和输出各种复杂报表,还可轻松开发各种票据套打程序。
4.数据统计专家
提供了汇总模式、分组统计、交叉统计等多种统计工具,不仅性能卓越,而且使用简单,数据统计变得异常轻松,用户只需单击几次鼠标,即可得到任何想要的统计结果。
技术特点:
基于VB.NET开发,ACCESS数据库访问技术。
数房销售数据查询平台软件面向维护、面向质量、面向经营,通过提取、整合专业网管、综合网管、业务管理、运维管理、市场支撑在内的各层面系统的信息资源,通过对信息深加工和智能化分析挖掘,提供“可视、可分析、可溯源”的能力。
打通与BOSS系统接口,结合BSS数据进行跨域分析,解决网络资源的精确投放问题;数房销售数据查询平台软件提供灵活自定义功能实现多专业的日常分析和跨专业的专题分析,提升运行维护效率,同时也大大减轻了一线人员的压力。
2系统设计
2.1系统逻辑架构
云计算基于高效的虚拟计算资源,应用程序,以灵活安全的方式达到快速扩展和缩减的效果,从而交付高品质服务。
业务以及客户服务以相对简化的方式交付,这将大大推进立异和高效决议计划。
因此数房销售数据查询平台软件也采取基于云计算的技术架构,采用了服务器池、存储池、网络及安全池架构虚拟化结构。
2.2系统逻辑数据模型
数房销售数据查询平台软件逻辑数据模型划分为五个主题域:
●客户主题域:
描述各类参与人(个人、集团、团体等)在中国移动业务活动所处角色的各类信息,主要包括客户、客户性能;
●服务主题域:
描述中国移动向客户提供的主要服务,主要包括服务、服务性能;
●资源主题域:
资源是移动公司拥有的为客户提供服务的所有载体,主要包括资源、资源性能;
●公共主题域:
主要包括基本类型、时间、位置、性能等等;
●企业效能主题域:
企业效能主题域主要刻画企业内部资源的生产效率,包括网络的效率和运维人员工作的效率等等;
各主题域之间的关系如下图所示:
2.3系统模型结构
数房销售数据查询平台软件服务各级管理、规划、维护、优化及网络分析人员以及希望了解网络数据的市场相关人员,实现匹配网络资源与业务发展,发现网络短板,优化客户感知,提升运行维护效率的目标,为企业运营决策和维护优化提供完整、及时、准确、科学的信息支撑,从而保障网络收益最大化,保持竞争优势。
网络数房销售数据查询平台软件涵盖4大专业,3大网络和8大规模业务,聚焦网络问题,对问题进行层进实溯源分析,实现网络隐患的主动发现与溯源;重点实现语音、短信、彩信、WAP。
CMNET和手机报的端到端分析;实现网络概览、网络运行分析、业务能力分析、客户全向分析、网络运营分析、热点聚焦等业务功能。
3实现的功能
3.1元数据管理
3.1.1元数据基本功能
本章节对元数据管理模块基本功能做出要求和描述,主要包括元数据基本维护、元数据变更管理、元数据查询、元数据统计、元数据质量管理和元数据权限管理。
3.1.1.1元数据的基本维护
元数据维护提供对元数据的增加、删除和修改等基本操作。
对于元数据的增量维护,要求能保留历史版本信息。
元数据的维护操作是原子操作,这些原子操作可通过服务封装的形式向数房销售数据查询平台软件的其它模块提供元数据维护接口。
3.1.1.2元数据变更管理
元数据变更管理包括变更通知和版本管理两个部分。
变更通知是当元数据发生改变时,系统自动发送信息(邮件、短信)给订阅用户。
用户可以主动订阅自己关心的元数据,帮助了解与自身工作相关的业务系统变更情况,提高工作的主动性。
版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。
要求的基本功能是能够显示同一实体的元数据的修改历史。
另外还提供版本差异分析和版本变更分析等。
并且能够进行单个元数据版本的恢复。
3.1.1.3元数据查询
对元数据库中的元数据基本信息进行查询的功能,通过该功能可以查询数据库表、维表、指标、过程及参与的输入输出实体信息,以及其它纳入管理的实体基本信息,查询的信息按处理的层次及业务主题进行组织,查询功能返回实体及其所属的相关信息。
元数据查询功能要求支持对历史版本信息的查询,以了解具体实体的历史变更情况。
3.1.1.4元数据统计
元数据统计是指用户可以按不同类别进行元数据个数的统计。
方便用户全面了解元数据管理模块中的元数据分布,该统计功能可以按元数据类型、元数据创建者和元数据的版本号来进行统计。
3.1.1.5元数据质量管理
元数据管理模块应具备对元数据本身质量进行检查的功能。
元数据质量检查包含但不限于以下内容:
元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。
对于以上检查结果,元数据管理模块可生成详细的检查报告,并能够支持相关人员对检查报告的检索和查找,能够把指定的检查报告导出成Excel、PPT等更易于阅读的文档。
元数据一致性检查
一致性检查主要是指从运营分析系统中抽取元数据,并与元数据库的对应信息进行比较,及时发现运营分析系统的应用变更,保证元数据的及时更新。
一致性检查包括两种方法:
自动检查和人工检查。
元数据关系健全性检查
在运营分析系统元数据库中,除个别类型元数据之外,各类元数据之间都有着千丝万缕的联系,并且相互间的关联关系需要保持一致,不应出现空链或者错链的情况(即存在外键或链接,但所链接的内容不存在或错误);运营分析系统各个子系统内部的元数据之间的关联也要保持一致;同时,子系统之间的元数据关联也要保持一致(不能出现某一个系统引用另一个系统中出现的元数据对象,却在另一个系统中找不到这个对象的情况)。
元数据管理模块通过元数据的这些关系描述了运营分析系统的数据流向、过程依赖和业务承载等各种内在的规律。
元数据关系是否健全直接影响到维护人员的问题判断和处理结果,直接影响着开发者对数据流向的分析和判断,因此,元数据管理模块必须在元数据的关联关系健全性方面作好保障检查工作。
对于元数据关系健全性检查工作,可以从以下几个方面进行:
●数据处理关系检查
数据处理关系是数据实体和数据处理过程之间的关系。
数据处理关系检查是从元数据库中找出缺乏应有数据处理关系的数据实体和数据处理过程。
例如,找出没有与任何数据处理过程建立数据处理关系的数据实体和找出没有与数据实体建立数据输入输出关系的数据处理过程。
●上下级关系检查
●
上下级关系是在元数据库中对运营分析系统实体进行分级管理所形成的元数据关系,例如将指标按业务主题和业务子主题进行分级管理。
上下级关系检查是在元数据库中找出存在不合理上下级关系的实体,例如找出没有与任何业务主体建立关系的指标。
●组合关系检查
●
组合关系是运营分析系统实体之间的整体和部分关系,例如数据库表和字段之间的关系。
组合关系检查时在元数据库中找出存在不合理组合关系的元数据,例如找出没有与任何数据库表建立关系的字段。
元数据属性检查
元数据属性检查是对元数据库中实体属性详细信息方面的检查,包括元数据属性填充率检查、元数据名称重复性检查和元数据关键属性值的唯一性检查等。
对于元数据属性填充率检查,省公司可以根据自己的建设情况,抽样检查部分重要属性,原则上必须涵盖实体的关键属性。
3.1.1.6元数据权限管理
元数据模块的权限管理负责元数据管理功能的权限分派、审批以及访问日志记录,实现对元数据管理模块的数据访问和功能的使用进行有效监控。
元数据管理模块的权限管理工作应纳入数房销售数据查询平台软件中统一管理。
3.1.2元数据分析功能
本节详细描述了数房销售数据查询平台软件元数据管理模块功能层的各个分析功能。
本章节对元数据管理模块分析功能做出要求和描述,主要包括元数据血统分析、元数据影响分析、数据映射分析、差异分析和实体关联分析。
3.1.2.1血统分析
血缘分析(也称血统分析)是指从某一实体出发,往回追溯其处理过程,直到数房销售数据查询平台软件的数据源接口采集层。
对于不同类型的实体,其涉及的转换过程可能有不同类型,如:
对于底层仓库实体,涉及的是ETL处理过程;而对于仓库汇总表,可能既涉及ETL处理过程,又涉及仓库汇总处理过程;而对于指标,则除了上面的处理过程,还涉及指标生成的处理过程。
数据源接口实体由源系统提供,作为数房销售数据查询平台软件的数据输入,其它的数据实体都经过了一个或多个不同类型的处理过程。
血缘分析正是提供了这样一种功能,可以让使用者根据需要了解不同的处理过程,每个处理过程具体做什么,需要什么样的输入,又产生什么样的输出。
为实现血缘分析,对于任何指定的实体,首先获得该实体的所有前驱实体,然后对这些前驱实体递归地获得各自的前驱实体,结束条件是所有实体到达数据源接口或者是实体没有相应的前驱实体。
血缘分析应能够以图形的方式展现所有实体和处理过程。
3.1.2.2影响分析
影响分析是指从某一实体出发,寻找依赖该实体的处理过程实体或其他实体。
如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。
该功能支持当某些实体发生变化或者需要修改时,评估实体影响范围。
影响分析应能够以图形的方式展现所有实体和关联关系。
3.1.2.3数据映射分析
用户能够查看数据处理程序内部的映射关系,了解数据加工过程的细节。
以图形展现数据的处理过程。
3.1.2.4差异分析
实体差异分析是对元数据的不同实体进行检查,用图形和表格的形式展现它们之间的差异,包括名字、属性及数据血缘和对系统其他部分影响的差异等。
3.1.2.5实体关联分析
实体关联分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成一张实体和所参与处理过程的网络,从而进一步了解该实体的重要程度。
本功能可以用来支撑需求变更影响评估的应用。
对于关系数据表,可以分析与某个表有关的实体或处理过程,查看具体数据的使用情况,从而判断该表的重要程度。
该功能有助于寻找数据库中关键表和冗余表,为系统调优提供支持。
3.2数据质量管理
3.2.1数据质量监控
3.2.2数据质量问题处理
数据质量问题处理包括问题生成(来源)、问题分析、问题处理和问题总结四个环节,下面分别表述。
3.2.2.1问题生成
按问题生成途径可以把数据质量问题分为以下几种:
●数据质量监控生成的问题
数据质量监控根据预先配置的告警转问题规则,可由系统自动将一定级别的告警转为数据质量问题;也可以在告警处理过程中手工方式将告警转为问题。
数据质量监控生成的问题主要由告警信息组成,问题发现时间为告警产生的时间。
●数据质量评估发现的问题
通过对数据质量一段时期的评估,可能从中发现一些数据质量问题,通过数据质量问题提交接口(界面)提交数据质量评估问题。
●业务人员或维护人员手工提交的问题
数房销售数据查询平台软件的业务人员或维护人员在日常工作过程中也会发现数据质量有关的问题,使用人员可以通过问题提交功能记录数据质量问题。
可以通过EOMS进行问题工单的流转也可以通过数据质量模块的问题录入界面进行问题的录入。
在以上三种数据质量问题中,数据质量监控生成的问题为系统自动产生的问题,其余两种为手工提交的问题。
在问题生成过程中,无论是自动生成还是手工提交的问题,都可以先检查数据质量知识库中是否有相同或类似的问题,生成建议的解决方案。
3.2.2.2问题分析
数据质量问题生成后,首先需要进行问题的分析与定位工作,当发生重要或严重级别的问题时,可根据需要先采取数据处理流程挂起和问题隔离措施:
通过手工或自动的方式将数据处理流程挂起,并将存在问题的数据进行隔离。
通过流程挂起和问题数据隔离,可将问题的影响范围控制在较小的区间内,防止问题扩大,便于问题的解决。
无论是否采取问题隔离措施,在问题分析与定位过程中,根据问题信息和问题关联的对象,对问题的原因进行分析。
在分析过程中借用以下两种工具辅助分析与定位问题:
●元数据分析工具
使用元数据分析工具首先需要知道问题关联的对象,或者在问题信息中先识别问题关联的对象,然后通过元数据管理模块的分析工具进行问题分析与定位才有效。
如使用血缘分析工具定位问题产生的根源,使用影响分析工具分析问题对综合分析全局的影响程度等。
●数据质量知识库
通过问题信息中的关键字、问题关联的对象或对象类型,可以在数据质量知识库中寻找相同或相似的问题,通过分析历史问题的发生规律,有利于对当前问题的分析与定位。
3.2.2.3问题处理
对于综合资源数据处理环节造成的数据质量问题,启动相应的数据质量维护流程,解决相应的数据质量问题。
可以考虑通过EOMS系统来处理数据质量的相关问题。
3.2.2.4问题总结
1)问题总结类型
当问题处理环节结束后,需要对问题处理的全过程进行记录和总结。
问题总结可以划分为不同的类型:
a)单一数据质量问题的总结
单一问题的总结是对单个数据质量问题处理的过程和结果进行评估;以及在采集、检查、报告和处理等过程信息进行整理,形成问题处理案例,存入数据质量知识库中,以便质量管理工作的改进。
b)数据质量的阶段性总结
阶段性总结是对数房销售数据查询平台软件一个时间阶段内的数据质量状况进行总结。
阶段性总结数据质量监控信息库、数据质量问题信息库和数据质量知识库为基础,通过对各种信息进行分类统计,得到不同角度的总结报告,如月度数据质量问题分析报告和数据源接口质量评估分析报告等。
经过问题总结,形成数据质量知识库,其中问题处理过程、问题解决方案等均可以作为数据质量知识的一部分进行存储。
2)问题总结对系统功能的要求
a)问题查询功能
查询作为总结分析功能的基础,系统能对数据质量存储库中的各类信息进行灵活查询,这些信息包括:
采集数据、检查结果信息、监控报告(包括告警信息)、数据质量问题及问题处理过程和数据质量知识库等,同时,查询所得的数据是关联性的,如某一数据质量问题可以追溯到检查结果信息、采集信息和被检查对象及属性等。
b)问题统计分析功能
系统能快速的统计某一维度或组合维度的数据质量情况,如可以统计某周期内数据质量问题总数、接口到达及时率、关键指标波动区间等等。
通过统计功能分析数据质量阶段问题,优化检查规则、并可形成知识。
c)问题总结转化为知识功能
通过对问题的总结,可以将典型的问题及其解决方案转为数据质量知识;或者将共性的、普遍的问题及其解决方案经归纳后转为数据质量知识。
系统应该提供将问题总结转化为知识的辅助功能。
3.2.3数据质量知识库
数据质量知识是在数房销售数据查询平台软件使用及运维过程中,由数据质量管理子系统收集的有关数据及过程问题的处理经验总结。
这些知识可作为今后数据质量问题解决方法的参考,并可以按关键字的形式进行索引和分类管理。
3.2.3.1数据质量知识的产生
数据质量知识主要来源于对数据质量问题的总结,同时,对数据质量问题的不同解决方案以及对知识本身的评价也是对数据质量知识的补充与完善。
通过调用数房销售数据查询平台软件知识库的知识生成接口提交数据质量知识。
数据质量知识库中包括了以下经验的集合:
接口问题解决经验、数据抽取问题解决经验、数据转换问题解决经验、数据加载问题解决经验、数据仓库问题解决经验、应用汇总问题解决经验和指标问题解决经验等。
3.2.4数据质量评估
数据质量管理系统在对数据的质量进行监控的同时,也对数据提供者有了考核的依据。
考核评估包括以下功能:
●数据质量核查评估规则管理
●数据质量核查评估报表
●数据质量核查评估报告
3.2.4.1数据质量评估规则管理
数据质量评估规则是指根据核查结果,对数据核查特性的一个量化评估规则。
例如数据的完整性,可以根据数据的完整率对应的评估;数据的及时性根据数据不及时的次数进行评估;数据的有效性根据数据的有效率进行评估;数据的一致性根据波动率超过阀值的次数进行评估。
●提供数据质量不同特性的数据考核规则增加、修改、删除;
●保存考核规则的历史修订记录;
●查看历史记录;
支持区分核查的数据内容,设置数据完整性、及时性,有效性,一致性的评分规则;
3.2.4.2数据质量评估报表
根据核查结果以及核查评分规则的设置,自动提供核查评估报表。
考评表
细分
详细描述
《完整性考核日报表》
数据源性能完整性报表
呈现各数据源各性能数据集的数据完整率以及对应的评分
数据源配置完整性报表
呈现各数据源各配置数据集的数据完整率以及对应的评分
核查点配置完整性报表
呈现各核查数据集配置完整率以及对应的评分
核查点性能完整性报表
呈现各核查数据集性能完整率以及对应的评分
告警完整性
分OMC呈现每天的告警完整率
《及时性考核日报表》
数据源性能数据及时性
呈现各OMC各性能数据集的数据及时率以及对应的评分
数据源告警数据及时性
呈现各OMC告警及时率以及对应的评分报表
数据采集层性能数据及时性
分OMC呈现各性能数据集采集的数据及时率以及对应的评分
数据采集层告警数据及时性
分OMC呈现告警及时率以及对应的评分
《有效性考核日报表》
数据源数据有效性报表
分OMC呈现各核查数据集的数据有效率以及对应的评分
核查点数据有效性报表
分核查数据集呈现数据有效率以及对应的评分
《一致性日报表》
每日各数据采集点波动率超阀值次数
《数据质量综合评估日报表》
数据源、各网管系统的数据完整性、及时性、有效性、一致性综合评估日报表。
《数据质量综合评估月报表》
数据源、各网管系统的数据完整性、及时性、有效性、一致性综合评估月报表。
3.2.4.3数据源接口质量评估
数据源接口质量评估是数据质量管理子系统在元数据管理模块的支撑下,对数据源接口质量的定期评估,是数房销售数据查询平台软件对数据源接口数据质量的定期考核。
在一定时间范围内,数据质量管理子系统通过对数据源接口质量问题的统计分析,结合数据源接口质量评估规则,生成数据源接口质量评估报告。
数据源接口质量评估要求在以下数据质量问题指标的基础上,建立数据源接口质量指标考核体系,主要包括以下两大类9个指标:
●数据质量问题类指标
Ø不准确问题数量
Ø不一致问题数量
Ø不及时问题数量
Ø不有效问题数量
Ø不完整问题数量
●数据质量处理情况指标
Ø数据源接口问题总数量:
指在一定时间范围内,数据源接口出现数据质量问题的总数量(包括重复出现次数);
Ø问题处理完成比率:
指在一定时间范围内,处理完成的数据源接口质量问题数量与数据源数据质量问题总数量的比值;
Ø问题平均处理时长:
指在一定时间范围内,数据源接口质量问题处理总时长与数据源数据质量问题总数量的比值;
Ø重大问题出现次数:
指在一定时间范围内,出现重大数据质量问题的次数,如:
影响增值业务话单接口数据质量问题等。
数据源接口质量评估功能要求在元数据管理模块中配置数据源接口质量评估规则,并进行数据源接口质量评估规则的管理。
数据源接口质量评估规则是指:
根据数据源接口质量问题各指标对数房销售数据查询平台软件数据质量影响程度的不同,在元数据管理模块中定义与各指标相对应的评分规则。
数据源接口质量评估要求数据质量管理子系统将每月的数据源接口质量评估结果及时发送给数据源系统相关管理人员。
数据源接口质量评估报告应详细反映当月数据源接口质量问题情况,主要应包括以下内容:
1)评估月份
2)数据源接口质量问题各指标值
3)数据源接口质量评分
接口侧质量问题、发生时间、问题类型、严重级别、问题描述和处理结果。
3.2.5数据质量对外服务
数据质量管理子系统是数房销售数据查询平台软件的有机组成部分,通过与综合分析其它模块的信息交互可以提升数据质量管理子系统的利用价值。
同时,数据质量管理子系统本身也可以利用这些服务功能。
数据质量对外服务功能一般以界面集成(页面嵌入)或服务接口调用方式供综合分析门户使用。
3.2.5.1数据质量信息查询功能
数据质量信息查询可以分为以下两种信息的查询:
1)数据质量问题查询:
可以查询单个或多个对象在某个时间段内的数据质量问题,对于存在数据质量问题的信息给予特别显示(如红色字体、闪烁等),以引起运维人员的注意,运维人员可以从该指标对象出发进行问题的分析与处理。
2)数据质量统计查询:
可以查询某一维度或几个组合维度的数据质量统计信息,如在数房销售数据查询平台软件中使用该查询功能以显示上周数据质量问题总量、接口到达率等。
3.3数据采集管理
3.3.1数据采集
3.3.1.1主动检测
主动检测为主动采集的发起方。
检测数据源端数据完整性,检测到数据完整后主动发送触发采集的消息。
主动检测需要具有较高效率,最大限度降低由于检测造成的数据源侧负荷。
检测功能主要包括检测任务生成和检测任务执行。
检测任务生成需提供配置功能,可对检测对象、检测周期、理论数据条数、经验时间点等参数进行配置。
各个数据源应当优先提供数据库接口,对于数据库接口可以根据设定的某测量当前时间的理论数据条数、该测量最近一段时间的平均数据条数和指标检查规则来检查数据源侧数据的完整性。
对于其他接口方式可以根据具体的接口特性进行检测规则的设置。
考虑到当前数据源侧的数据质量的不稳定因素,主动检测模块应当能够对数据源侧的数据入库时间戳进行识别,对于变化的数据应当具备重新采集的能力。
也可以通过对数据源侧的数据库日志进行跟踪,感知数据变化从而触发采集。
3.3.1.2对数据源侧触发消息的接收
数房销售数据查询平台软件应当提供消息接收能力,即能够接收各专业网管发送的专业网管数据准备好通知消息,及时进行数据的采集,当专业网管进行数据补采后,也能及时触发综合分析进行数据补采,最大限度保持数据完整性。
要求数房销售数据查询平台软件具有较强的并发能力,不丢消息,在1分钟内完成消息入库,保证后续能及时进行采集。
3.3.1.3数据采集解析
数据采集适配器负责按照接口类型、特性从不同的数据源通过文件接口、指令接口、数据库接口等方式从网元、OMC侧或其他网管侧获取基础数据,然后对获取到的原始数据进行格式标准化,写入数据缓冲区。
采集适配器应当为支持二次开发的程序或组件,对于同一种接口类型、接口特性的多个数据源应当作为同一个程序的多个实例存在,而只针对不同的接口类型设定不同的适配器。
采集适配器应当具备可视化的配置管理能力,即可以通过图形化界面对不同的数据源选择不同的采集适配器进行数据采集,并对不同的数据源根据实际需要,可视化的配置需要采集的数据范围和相应的约束条件。
对于数据源侧的数据配置信息应当从元数据库中获取被采集侧元数据,并在采集模块的配置界面中通过可视化界面进行采集范围的选取。
对于数据的格式标准化,应当遵照ODM-A相应模型的约定,尽量保持原有数据源侧的模型结构。
3.3.1.4数据装载
把格式化的数据写入到ODM-DB数据库中,数据入库策略支持增量入库、全量入库方式。
●增量入库:
只把采集到的新数据入库;
●全量入库:
采取把数据库中数据先删除后入库方式。
3.3.1.5数据智能补采
根据数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 销售 数据 查询 平台 软件设计 说明书