XX商业银行业务交易监控管理解决方案.docx

XX商业银行业务交易监控管理解决方案.docx

《XX商业银行业务交易监控管理解决方案.docx》由会员分享，可在线阅读，更多相关《XX商业银行业务交易监控管理解决方案.docx（8页珍藏版）》请在冰豆网上搜索。

XX商业银行业务交易监控管理解决方案

商业银行业务交易监控管理

解决方案

1架构设计

1.1系统逻辑架构

业务交易监控管理系统逻辑架构如下图所示：

如上图所示，系统架构设计采用层次化、模块化集成架构设计，自下而上分别是底层架构层、数据处理层、数据分析层和数据展示层。

⏹底层架构层：

✓采用HadoopMapReduce分布式计算框架，可并行支持多个物理节点和同一节点内多台服务器的分布式并行计算。

系统具有可扩展性，可根据计算需求，对计算节点和节点内的计算服务器进行扩展。

✓采用基于NoSQL集群存储技术，用于存储原始报文数据金和交易流水数据，一方面可以提升对上述数据的检索性能，另一方面为日后基于海量历史交易流水数据进行挖掘分析提供高性能、高可用性及高伸缩性的访问性能。

✓采用分布式实时内存数据库系统，可以分布式处理大规模的实时数据，具有低延迟，高性能，分布式和可扩展的特点。

✓关系型数据库存储集群采用传统的关系型数据库系统，主要存储基本的领域知识，系统所需要的元数据，任务定义，计算并需要在页面上展示的结果等。

⏹数据处理层：

从外部多源异构数据源抽取数据并进行数据预处理过程，主要包括数据采集、数据解析、数据汇聚等，为数据分析过程提供干净、准确、简洁的数据，提高信息处理效率和准确性。

⏹数据分析层：

封装了故障分析、性能分析、交易逻辑分析、交易路由分析、性能趋势分析等分析方法和规则，提供面向业务交易的故障管理、性能管理等各种分析功能。

⏹数据展示层：

对处理后的结果进行Web页面展示，可以根据用户的使用需要，提供不同的数据展示处理方式；

此外，系统还提供与第三方系统数据互联互通机制，对内提供外部数据源的动态引用，对外提供系统内部数据的共享。

系统通过Syslog、Sockets、Gateways、WebService、、JSON等方式，与现有的第三方系统，如短信平台、报表平台、事件管理管理平台、流程管理平台等，进行无缝集成。

1.2系统部署清单

序号

产品模块

功能描述

备注

软件部分

1

数据采集模块

用于异构数据源数据采集

数量根据实际需要部署

2

数据总线模块

用于将采集的数据实时分发给交易数据解析模块，以及其他功能模块之间的数据交互

3

交易数据解析模块

无需改造现有业务系统，通过对数据包协议实时分解，获取交易包体数据信息进行按需分析。

支持数据包自定义格式。

数量根据实际需要部署

4

DataMiningCenter（DMC）

高性能数据挖掘仓库系统，采用内存数据库技术，支持实时数据汇聚、压缩、关联分析。

数量根据实际需要部署

5

DMCS

DMC集群管理模块，用于管理各个DMC

6

关系型数据库

用于存储基本的领域知识，系统所需要的元数据，任务定义，计算并需要在页面上展示的结果等

可采用Oracle、DB2等主流

7

MongoDB

用于存储原始报文数据金和交易流水数据

硬件部分

8

网络过滤设备

能够接受交换机Span流量，并且支持按照ip，端口进行过滤，支持按照TTL过滤功能；如涉及网络抓包采集方式，需在交换机镜像端口部署此类设备

数量根据实际需要部署

9

PC服务器

数量根据实际需要部署

2功能设计

2.1数据采集

通过主动或者被动方式采集被管业务系统的交易相关信息，可以根据不同类型的数据源采用相应的采集适配器进行数据采集。

数据源类型主要包括：

⏹系统交易日志

⏹监控队列

⏹网络报文

⏹应用报文

2.2数据解析

数据解析器自动识别采集的原始数据格式进行报文还原，并根据管理需要，从中抽取想要的字段信息，同时进行相应处理，如加时间戳等。

目前数据解析器已经能够支持国内商业银行常用的业务系统的交易报文解析，如核心系统、卡系统、柜面系统、网银系统、手机银行系统、超级网银等等，并可以通过编写脚本快速增加新的数据解析规则。

2.3故障分析及定位

系统自身有分析能力，通过拓扑信息和关联规则，自动判别故障发生的逻辑和节点位置，以及评估故障的影响范围和程度，方便支持此业务的IT管理人员的故障跟踪，及时进行排障。

系统对每笔交易出现下列问题会自动告警：

⏹交易失败

⏹交易超时

⏹交易异常

系统还提供基于Web的事件查询，可以将事件按照需要定制进行呈现，为管理人员提供直观实时的监控界面。

管理人员可以监控被管对象的总体状态，也可以查看详细的事件信息，并且调用各种辅助工具，如手工发送短信/邮件通知、对事件进行确认/升级/转发/关闭、手工创建故障单、查询相关事件等等。

2.4性能管理

性能管理包括两个部分，即实时监控和预估监控。

实时监控是对交易当前的性能指标运行状态进行监控；预估监控是对交易在未来某段时期内的性能指标可能的运行情况进行预测分析。

2.4.1性能指标实时监控

性能管理模块提供性能指标数据的实时展示，即所收集的数据基础上，提供更加符合运维监控的展示方式，方便管理人员快速发现问题，及时解决问题。

2.4.2历史数据查询

使用高效的检索算法，对海量历史性能数据提供包括时间、交易类型、交易渠道、业务系统等多个维度的数据查询功能。

2.4.3性能指标动态阈值分析

性能指标动态阈值分析使用时间序列和线性回归的组合分析方法，对历史数据进行分析学习，获取每笔交易正常运行状态下的历史性能数据取值范围，预估未来可能的变化趋势并进行持续的跟踪学习；当某一时点实际采集的性能数据偏离正常取值范围则生成性能告警事件（交易异常），从而大大降低了误报率和漏报率，提供了更加精准的业务交易监控手段。

2.5视图管理

监控视图使用业界流行的数据可视化技术，以实时动态的数据为核心，结合性能指标分析功能，从不同层次的使用者角度出发，形象化、直观化、具体化地展示各自所关注的管理对象和相应指标的宏观及微观的运行状态，并支持“钻取式查询”实现对指标的逐层细化、深入分析，从而将运维管理提升到一个新的高度。

通过各种常见的图表（速度表、动力柱、预警雷达、雷达球）等形象标示系统关键指标，来直观的监测系统运行情况并可以对异常关键指标预警和挖掘分析。

下面通过几个之前的案例来做个简单的描述。

2.5.1业务全景视图

业务总体综合展示，以业务（交易）流程为中心进行展示。

在实际的运维监控过程中，建立全面的业务视图是非常有必要的。

有助于从领导层到技术支持层各层面，能够形成统一的运维质量体系的认知及判断标准。

因此，建立适合的全局视图最关键的在于如何统一的度量各支撑体系的质量，我们建议采用以业务服务为中心的核心管理度量，来完成整个全局视图的构建。

利用交易路由图，呈现业务服务总体状态，一目了然发现业务系统运行状况

通过业务关系逻辑总图（以拓扑的形式）要业务涉及的应用系统连接起来，在视图中可以展现重要业务的运行状态（单位时间：

交易量/交易量峰值、成功率、响应时间等）：

以业务运行质量为视角，逐层查阅监管数据

跟踪交易路径，快速定位故障根源，极大提高维护效率

逐层深入，展示应用系统所承载的业务环节运行情况（各环节的交易量、成功率、响应时间等）：

2.5.2单个业务运行状态视图

单个业务运行状态视图可从以下维度进行呈现：

⏹以业务（交易）流程为中心进行展示，主要从业务成功率、业务的性能（单位时间：

交易量/交易量峰值、响应时间等）两个方面，按照业务类别、分支行等、渠道分类等方面进行汇总展示；成功率高、性能优的一种颜色展示；成功率高，性能较差的一种颜色展示；成功率低的一种颜色展示；

⏹以单笔业务流程为中心，定义各交易环节交易信息（交易码，渠道、用户、响应时间、账号等）KPI，支持对单笔交易进行跟踪分析，根据交易码、用户或来源进行交易查询跟踪；增加视图展示（此功能需应用支持由唯一编码将不同环节的交易进行串接，如果告知交易编码之间的关联关系，我方可采用策略将其绘制成一个唯一编码关联图）

如上图所示，根据系统之间的交易号，按照系统与系统之间的传递规则，捏合而成的交易链（交易编码）。

这种情况适合在没有统一编码，但又需要跟踪交易路由的情况下使用。

⏹实时展示当前账务类交易信息，包括双方账户（可隐去）、开户行、金额（可隐去）、渠道，其中渠道包括柜台（XX支行）、网银、ATM、POS、支付等；通过核心系统取交易流水日志；

⏹可以以不同的展现方式展示，例如图形方式、拓扑、状态灯、列表、滚屏的方式等；

2.5.3事件视图

运维人员根据自定义的条件（监控对象、事件级别等事件定义要素，组合条件），实时展现所关注监控对象的告警数据，自动将相关联的监控对象的告警数据归集展示（例，同一节点同一时间段的告警集中在列表中的一段），级别高的告警数据展示在最突出位置，通过颜色、高亮等方式突出显示，以满足一线监控人员及时发现事件、分析事件。

2.5.4性能视图

性能视图展示业务交易的KPI相关的性能情况，提供实时或准实时性能曲线图；实时数据与基线数据对比图，同类性指标可在同一视图中进行数据趋势曲线对比。

主要包括：

⏹交易量；

⏹TPS；

⏹交易响应时间；

⏹服务成功率等等；

2.6统计报表管理

为了提升运维技术管理手段，提供更加适合管理现状的管理统计类和查询类报表，以辅助管理水平的提升。

各种报表以模板的方式进行发布，可以生成定期报表、实时查询报表、统计分析报表或报告等，同时提供各种报表样式的下载：

xls、word、ppt、pdf等，并可根据要求，设置自动发送策略。

报表不需要增加任何模块即可提供，管理报表报表服务器生成和提供，通过页面访问报表服务，从而获取报表资源。

报表分为事件类、质量类等等。

可根据需要，定制其他类的报表。

2.7告警管理

支持声（声音）、光（颜色变化）、电（电子邮件）、闪（闪烁）、跑马灯、信息滚动等的各种报警方式，通过预先定义的告警过滤条件和通知规则，自动地提醒相关的运维人员。

支持事件通知的策略，如短信压缩策略、信息整合策略等。

短信压缩策略可通过页面的方式管理策略，定义间隔时间，当发生故障时第一时间发送给管理人员，周期内第二次及以上发生，将在周期间隔结束，再发送给管理人员本故障发生的次数，减少短信发送的次数，提高短信的有效率。

信息整合可通过页面的方式整合和丰富告警信息，让告警更加精准。