非结构化数据存储解决方案优秀资料.docx

非结构化数据存储解决方案优秀资料.docx

《非结构化数据存储解决方案优秀资料.docx》由会员分享，可在线阅读，更多相关《非结构化数据存储解决方案优秀资料.docx（77页珍藏版）》请在冰豆网上搜索。

非结构化数据存储解决方案优秀资料

1.

非结构化数据存储

在上图中，描述了非结构化数据存储架构的基本组成部分，其中：

1.文件存取统一接口,封装了对数据中心所以非结构化数据的读写操作接口。

2.HadoopHDFS负责对大文件的存储，以HDFS:

为文件协议标准

3。

HBase通过维护一张文件表完成对小文件的存储,以HBase：

为文件协议标识

1.1文件存取统一接口

1.1。

1文件存储接口

对文件进行存储前，接口根据文件的大小和HDFS文件分块的配置大小进行比较，当文件超过设定大小时，接口认为该文件是大文件，直接分配到HDFS文件存储接口进行写入；否则当文件小与块大小时，根据系统维护的Hbase小文件存储通用存储表进行存储管理.

1。

对直接存储到HDFS的文件,则文件路径以HDFS为中心存储文件协议头，文件路径则根据该文件的业务属性做完文件的路径，文件名称保留原有名称，例如:

HDFS：

//aaa/bbb。

zip

2.对通过Hbase管理的小文件，则文件路径以HBASE为中心存储文件协议头，文件路径不需要分文件夹,直接以文件的唯一标识标识即可，例如:

HBASE：

//uuid

1.1.2文件读取接口

文件读取时，通过识别URL，确定文件的存储方式,然后找到对应的存储接口获取文件。

1.1HadoopHDFS存储接口

完成大文件的存储与读取接口操作。

1.2Hbase存储接口

文件通用存储表结构：

表存在两个列簇，default列簇负责存储基础属性信息，用一个单独的列簇存储图片内容。

   HBase是采用面向列的存储模型，按列簇来存储和处理数据，即同一列簇的数据会连续存储。

HBase在存储每个列簇时，会以Key—Value的方式来存储每行单元格（Cell）中的数据，形成若干数据块，然后把数据块保存到HFile中，最后把HFile保存到后台的HDFS上。

由于用单元格（Cell）存储图片小文件的内容，上述存储数据的过程实际上隐含了把图片小文件打包的过程。

默认情况下,HBase数据块限制为64KB。

由于图片内容作为单元格（Cell）的值保存，其大小受制于数据块的大小.在应用中需根据最大图片大小对HBase数据块大小进行修改。

具体修改方法是在表创建时，用HColumnDescriptor指定数据块大小，可分列簇指定，具体配置如下图：

集团主数据管理解决方案

1.基本概念

●主数据：

是用来描述企业核心业务实体的数据，例如客户、供应商、物料、产品、员工、组织等.主数据是具有高业务价值的,应在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中.

●主数据管理：

包含一整套用于生成和维护主数据的规范、技术，完整的平台包括元数据管理，信息系统集成、ETL技术、数据仓库/分析、ESB等组件和技术.

⏹ESB（企业服务总线）：

将不同系统的业务抽象成事件或服务，以基于消息内容的形式,通过协议转换、消息过滤、事件路由,对多个系统不同的事件进行整合。

2.需求概述

为满足集团业务发展，提高集团信息化管理水平,为核心业务系统搭建基础的主数据管理平台,有效解决异构系统间的主数据唯一性、一致性和共享性问题.

3.现状描述

现目前公司的核心业务主数据存储于多套不同的业务系统中，包括AJX、HR、金蝶财务等等,导致的问题主要有以下几个方面：

1）没有规范的管理要求：

导致不同系统使用时达不到管理要求，甚至重复管理同一数据（组织，客户、人员等）；

2）没有标准的规则定义:

主数据到了不同的系统可能就变了名字或编码，直接导致不同业务系统的数据无法共享；

3）没有统一的共享平台：

系统与系统间建立点对点的连接,当系统增多的时候，这样的关系结构会更加混乱，如下图：

*实线表示已实现自动同步,虚线表示人工添加、导入。

以上3点，直接影响新建信息系统时,没有统一的接口标准可以调用主数据，而新系统要么手工维护多个系统相同的数据，要么单独为每套系统开发接口去适配。

4.解决方案

4.1.实现思路

基于现状分析，可通过搭建主数据仓库,利用ESB平台建立各业务系统间的连接，实现主数据的CRUD管理。

主数据仓库:

主要涉及以下几方面作用

1）汇总、存储分公司AJX主数据；

2）建立分公司AJX主数据的对应关系；

3）建立系统间主数据的对应关系;

仓库中存储的主数据并不涉及其它业务系统的主数据，此处仅汇总分公司AJX系统的主数据，并建立与其它业务系统的主数据对应关系。

ESB平台：

负责主数据仓库的CRUD维护；创建接入系统的资源公共接口（WebService、REST、数据库等）,供系统之间的资源调用;确保主数据在各系统间的唯一性。

4.1.1.主数据评估

从数据的关键性、共享程度、应用范围等方面,建立主数据的特性评估流程。

凡符合主数据特性的业务对象,均纳入主数据仓库管理。

4.1.2.初始数据导入

根据定义好的主数据对象和特征字段（可识别的关键字段，其中来源公司、来源系统为必须字段），使用ETL从各分公司AJX业务系统中抽取，并以不同的业务对象分类存储.

由于以往各分公司的主数据独立，在此过程中还需要处理以下问题:

a）在仓库中新增不同对象的编码规则，并与该对象所在公司、原有编码做对应;

b）根据主数据的字段结构，合并不同公司的相同数据记录，将相同数据的原有编码与新的编码做多对一关联；

其它系统的数据可根据前面定义的主数据特性评估，以决定是否需要纳入主数据仓库管理,例如HR系统的人员信息.

4.1.3.共享平台搭建

主要工作在ESB与各系统的接口处理,可分为两个阶段的工作内容：

阶段一

阶段一：

建立与各应用系统的连接，梳理业务涉及的数据库逻辑,并根据系统自身提供的接口（或直连数据库），将系统的资源或业务抽象成可供外部调用的API.

阶段二

阶段二：

以基于业务的形式创建事件流程,包括流程各节点与不同业务系统的接口连接，涉及的协议转换和消息内容处理。

4.1.4.维护更新

平台建立之后，后续主要工作集中在：

1）对新增主数据的编码规则、字段建立，映射关系导入；

2）业务调整后，业务系统逻辑梳理及ESB平台接口、流程修改;

3）新增业务系统，ESB平台的接口实现；

4.2.应用场景

4.2.1.离职员工账号

以公司OA系统流程为例，当有员工离职的流程审批通过后，ESB平台接收到该离职员工的特征信息消息，根据预先定义的事件流程,访问接入的AJX、金蝶、报表服务器等系统API,停用离职员工在该系统的账号（需先建立该员工主数据库记录与各系统的记录对应关系）。

无法接入的系统（VPN账号，OA流程申请关联员工是否有账号），可通过ESB平台调用消息接口（短信、微信等）或触发OA流程，通知相关人员处理。

4.2.2.客户资料管理

a）历史客户导入

使用ETL从AJX系统导入客户特征信息到主数据仓库，并新增唯一的主数据编码与原编号做对应关系，不同公司相同客户建多对一关系，但只在客户库中存储一条记录.

如其它系统也收集客户资料，同样使用ETL导入主数据仓库，已存在的客户仅增加对应关系；不存在的则增加主数据编码及对应关系。

b）客户新增

无论从哪套系统增加客户（能统一入口最好）,都可以使用ESB平台获取该系统增加的客户资料（如无接口推送消息，则只能使用ESB定期拉取），与主数据库匹配：

●已存在:

增加对应关系，（有需要）可通过ESB平台主动获取相关系统的该客户信息（销量等更多信息），刷新本系统，不用再去重复收集;

●不存在：

增加主数据编码和对应关系,同时通过ESB平台推送该客户资料到其它系统中（如需要）。

客户、员工（员工账号）、产品管理的架构基本一致（见下表）:

多套系统可同时维护同一主数据对象,但相同对象只在主数据仓库中存有一条记录，该记录与多个系统建立有对应关系,从而ESB平台才可根据该对应关系，按业务需求对相应系统的记录做CRUD管理.

主数据表：

客户

MDM编码

客户姓名

身份证号码

其它特征字段

10000001

张三

550100111

10000002

李四

221000120

客户对应关系

MDM编码

来源系统

来源公司

对应特征码

10000001

系统编号1101

公司编号101

1201

10000001

系统编号1109

公司编号101

A1009

10000002

系统编号1101

公司编号101

13333

10000002

系统编号1107

公司编号101

13333

如能限制主数据对象的新增入口（某套系统或统一平台）,则对应关系的维护要简单得多。

4.2.3.多维度数据分析

基于ESB平台维护的对应关系,在ESB创建《根据MDMID获取员工指定月份、系统的数据》接口,使用该接口可取出某个员工在所有业务系统的数据，例如对某个员工的取数结果如下表：

某销售员，某月数据统计

MDM编号

姓名

职位

入职时间

薪等薪级

报销金额

销量

拜访客户数量

其中涉及的API接口和系统如下表（参数均为MDMAPI、日期）：

字段

来源系统

ESDAPI（假设）

参数

姓名

职位

入职时间

HR系统

获取员工基本信息接口

Mdmapi

薪等薪级

报表服务器系统

获取销售员最新薪等薪级接口

Mdmapi

报销金额

OA系统

获取销售员指定时间差旅费报销金额合计接口

Mdmapi、日期

销量

AJX系统

获取销售员指定时间销量接口

Mdmapi、日期

拜访客户数量

i到位

获取销售员指定时间拜访客户数量接口

Mdmapi、日期

5.实施难度

1）建立一套有效的主数据体系（数据特性、实施评估等）；

2）无接口开放的系统,需要结合业务功能做大量的数据库逻辑分析工作，再通过ESB抽象成可用的对外服务接口；

3）平台架构复杂，涉及业务多，不确定能否适应公司的业务变化。

∙上海贝尔阿尔卡特BOSS（Business/OperationSupportSystem，业务运营支撑系统）融合了业务支撑系统（BSS）与运营支撑系统（OSS）,是一个综合的业务运营和管理平台,是电信运营商的一体化、信息资源共享的支持系统。

系统包括整套端到端解决方案，涵盖了呼叫中心、客户服务、经营分析、计费、营帐、结算、业务保障、综合网管、计费采集、资源管理、综合开通、容灾备份、防欺诈管理等功能。

上海贝尔阿尔卡特的BOSS集成解决方案主要包括了:

∙资源管理系统解决方案

∙综合网管系统解决方案

∙七号信令集中监测系统解决方案

∙呼叫中心系统解决方案

∙计费帐务系统解决方案

∙经营分析系统解决方案

∙联机计费采集系统解决方案

∙容灾备份系统解决方案

∙客户关系管理系统解决方案

1）资源管理系统解决方案　　资源管理与业务开通是指帮助运营商全面掌握各类网络资源的原始数据，实现业务流程的自动化，优化网络资源结构，精细管理企业的运作，从而在企业管理中获得显著效益.　　资源管理是运营商最关注的重点项目之一。

资源需求会对运营商产生比较大的影响，尤其是通过有效的企业资源配置，管线调度，企业存量资产的盘活,提高利用效率，这样才能最大限度的满足客户需求，提高网络效能。

　　上海贝尔阿尔卡特资源管理与业务开通解决方案，可以帮助运营商全面掌握各类网络资源数据,实现业务流程的自动化，优化网络资源结构，精细管理企业的运作,从而在企业管理中获得显著效益。

该方案主要由以下几个模块组成：

∙资源管理器:

是整个系统的核心部件

∙任务引擎：

实现网络流程自动化

∙开通引擎:

实现业务开通管理

∙同步引擎：

实现数据一致性管理

该解决方案主要特点如下：

∙准确