银行数据仓库建设项目方案样本.docx
- 文档编号:29777691
- 上传时间:2023-07-26
- 格式:DOCX
- 页数:43
- 大小:999.73KB
银行数据仓库建设项目方案样本.docx
《银行数据仓库建设项目方案样本.docx》由会员分享,可在线阅读,更多相关《银行数据仓库建设项目方案样本.docx(43页珍藏版)》请在冰豆网上搜索。
银行数据仓库建设项目方案样本
XX银行
EDW/数据仓库项目方案
第一章系统总体架构
一.1总体架构设计概述
一.1.1总体架构设计框架
XX银行EDW项目总体架构分为基本技术架构、应用架构和数据架构三个核心某些。
这三个某些共同构成了XX银行EDW系统。
在基本技术架构中,涉及执行架构、逻辑架构、功能组件架构和运维架构四个某些。
⏹执行架构描述系统大框架和模块区域,以及之间逻辑关系;是拟定生产环境建设规定及指引原则。
⏹逻辑架构描述EDW各个模块之间数据接口、数据流向、工具使用和采用品体技术实现手段或方式状况,用于规范本项目最后身产环境建立。
逻辑架构是建立应用架构、执行架构、运维架构基本,也是建立执行架构、应用架构以及运维架构原型系统。
⏹功能组件架构描述拟定系统各个大组件组件区域功能模块框架,以及提供某种服务类型。
⏹运维架构是描述EDW项目运维架构原则,涉及运维架构设计内容、设计原则、各构成组件设计考虑因素、约束、规定等。
运维架构通过相应流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构运维和管理。
而数据架构和应用架构重要描述:
⏹应用架构是EDW为满足业务需求所提供系统应用功能及其蓝图设计,其中业务需求是应用架构设计基本,最后应用架构将以应用系统形式体当前执行架构中,重要涉及:
应用服务和数据服务。
⏹数据架构描述于EDW系统有关数据流动方略,即数据在EDW系统执行架构下抽取、转换、储存方略以及应采用流程,涉及数据层次和总分行之间数据分部状况等。
数据架构是建立执行架构原则需求定义。
下图是EDW项目总体架构框架:
一.1.2总体架构设计原则
⏹总体架构在着重考虑实行规定同步,需要为后续阶段进行规划,以保证项目最后可以达到目的架构设计;
⏹总体架构设计要基于涉及XX银行数据现状分析、实行阶段数据源状况分析、第一阶段实行EDW设计建议做为参照;
⏹总体架构设计架构时充分考虑与既有系统兼容,充分运用已有成果,避免重复开发和建设。
⏹总体架构设计过程中应遵守XX银行IT管理规程,保证最后系统可以顺利布置并移送给XX银行运营维护部门。
一.1.3总体架构设计特点
⏹权衡功能、性能、可扩展性、易用性、可管理性和性价比。
⏹依照XX银行数据状况和分析需求,采用多层次公司EDW系统架构来保证在存在复杂数据种类和关系海量数据上进行业务分析和查询在业务支持能力和性能等方面规定。
⏹多级/自动增量ETL加载机制,有效提高ETL并发度、加载效率,减少错误解决复杂性。
⏹通过顾客入口支持顾客采用Web浏览器使用查询和分析工具,统一信息服务界面,提高系统易用性,减少技术支持工作量。
⏹运用公司信息集成和Web数据服务,提高系统数据支持能力和接口一致性。
统一数据增强平台也减少数据增强复杂度。
一.2EDW执行架构
执行架构重要内容是描述EDW项目执行架构建设规定及指引原则,用于规范本项目最后身产环境建设。
EDW项目生产环境建立需要参照并遵循执行架构某些提出规定。
一.2.1执行架构概述
执行架构是EDW概念环境,重要包括:
源数据、数据落地区、ETL、数据准备区、数据存储区EDW、业务应用、顾客环境、数据管控、系统安全性以及EDW基本设施平台(涉及:
服务器、存储、网络)等功能组件。
从技术层面上来说,EDW系统执行架构应实现各种技术平台及应用之间无缝集成。
一.2.2执行架构设计原则
在EDW项目实行过程中,系统执行架构建设应遵循如下技术原则:
Ø开放性原则:
EDW项目生产环境建设应基于业界开放原则,对系统中使用网络合同、硬件接口、数据接口等应进行统一规划,EDW系统应支持主流应用软件包及其布置各种硬件平台。
Ø灵活性与可扩展性:
EDW系统基本设施平台应可以依照将来系统发展需要以及应用需求,以便扩展设备容量和提高设备性能;具备支持各种组件模块、各种物理接口能力;具备技术升级、设备更新灵活性;具备支持业务功能扩展与重构灵活性。
如:
系统容量可以随着ETL系统数据量扩展以及应用系统不断扩展、顾客量不断扩展而进行平滑扩展。
Ø高性能原则:
系统应达到数据解决时间窗口规定,顾客定义查询效率、响应时间规定,满足业务系统规定;对既有业务系统影响小。
Ø自动化原则:
EDW项目建设核心任务之一是数据抽取、转换、清洗和加载(ETL),在这个过程中应采用自动化设计原则,避免手工操作。
同步对于元数据管理过程应采用元数据管理平台来实现对元数据集中、自动化管理。
Ø安全性原则:
EDW项目建设中数据迁移过程都必要保证数据安全性,例如:
在系统建设过程中应对数据中敏感字段进行安全解决、同步整个系统还应采用网络隔离、顾客身份认证及访问控制、数据库安全、操作系统安全以及完善安全审计机制。
一.2.3执行架构框架
上图是EDW系统执行架构,其中包括EDW系统中涵盖功能框架以及框架之间逻辑关系。
在如下内容中将对执行架构中功能框架以及框架之间关系进行详细描述,详细内容涉及:
Ø数据源:
涉及XX银行各种业务系统,重要有核心系统、个贷系统、信贷系统、国际业务系统、财务系统和各类渠道系统等。
Ø数据落地区:
此某些内容阐明数据落地用途,同步对数据落地区应具备功能进行了原则定义以及数据落地区与其她功能组件之间关联关系;
ØETL:
此某些内容描述ETL系统中数据抽取、转换、加载等功能需求,同步定义了ETL系统建设原则以及ETL与系统中其她功能组件之间关系;
Ø数据准备区:
此某些描述数据准备区应具备功能,以及数据准备区在建设过程中原则需求。
Ø操作型存储区:
此某些内容描述EDW系统在建设过程中操作型存储区应遵循原则以及系统建设过程中应满足需求;
Ø数据仓库存储区:
此某些内容描述EDW系统数据仓库存储区应遵循原则以及系统建设过程中应满足需求;
Ø业务应用:
此某些内容描述BI应用系统建设系统需求,包括相应用环境、分析环境、静态报表环境;
Ø顾客环境:
此某些内容描述顾客在EDW系统中应具备运用能力,涉及:
运用通用呈现平台进行信息呈现、驾驶舱应用、报表应用等;
Ø时间窗口和性能定义:
此某些描述整个EDW项目中关于时间窗口定义以及有关系统性能指标规定;
Ø元数据管理:
此某些描述在系统执行架构中元数据管理内容以及元数据管理系统建设原则定义;
Ø系统安全性:
此某些内容重要描述EDW系统中安全性管理内容,涉及应用安全、网络安全、数据安全、系统安全等,同步描述系统安全在建立过程中遵循原则;
Ø基本设施平台(服务器、网络、存储):
此某些内容重要描述生产系统中硬件资源,涉及:
服务器,网络以及存储资源需求,容量规划应满足系统指标等内容;
一.2.3.1数据源
源数据系统是报表、核心指标、灵活查询、主题分析等应用系统基本数据来源。
在系统建设初期,源数据系统应提供能满足初始业务需要数据以及业务系统需要提供完整数据时间窗口,在EDW系统扩展过程中,各个源数据系统中数据将逐渐加载到EDW系统当中。
源数据无法满足应用需求时,系统应提供手工方式通过手工数据补入平台将需要数据补入到EDW系统中。
当前数据源涉及XX银行各种业务系统,重要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。
一.2.3.2数据落地区
数据落地区是为了保证多系统对源系统数据抽取需求,在数据从源数据系统抽取后在统一数据集成环境中整合。
数据落地区应建立与各有关源数据系统接口,将这些系统定期卸载数据以固定格式接受、存储到落地区,考虑数据传播和加载速度,源数据系统应以文本文献格式将数据定期传播给数据落地区进行解决。
数据落地区数据存储格式原则上是与数据源存储格式保持一致
一.2.3.3数据ETL架构
ETL是数据抽取、转换、加载所有过程,它是数据从数据落地区到ETL服务器以及从ETL服务器到EDW数据迁移过程以及数据从EDW向数据集市数据迁移过程中必要使用过程和办法,ETL系统应涉及如下三个重要功能:
⏹数据抽取:
从数据落地区系统抽取EDW中需要数据;
⏹数据转换:
将从源数据系统获取数据转换成EDW规定形式,同步按照业务需求对数据进行转换;
⏹数据加载:
将助转换后数据装载到EDW物理模型中;
一.2.3.4数据准备区
数据准备区是数据存储暂时存储区域,数据在其中只作暂时性保存,数据经转换后导入到EDW物理模型中。
数据准备区功能涉及:
格式转换、排序去重/筛选、通用基本清洗、连接/合并/分割、业务转换等
一.2.3.5操作型存储区
操作型存储区是数据仓库系统一种重要环节。
该区有着承上启下作用,从数据形态来看,该区数据定义贴近业务源系统;从数据原则来看,该区数据原则是遵循数据仓库系统原则。
因此该区普通分为两个层次,第一种层次称之为良好质量、统一格式数据贴源层,第二个层次为统一、规范、遵循数据仓库系统原则数据原则层。
数据贴源层可以继续为行内既有某些报表系统或者分析系统提供数据,而数据原则层为数据仓库中公司数据模型落地扫清了道路。
因此该存储区在整个EDW系统起到了一种承上启下核心作用。
一.2.3.6EDW存储区
EDW存储区是面向主题、集成、面向公司、最明细数据存储,其内容是根据最后顾客应用和分析需求来进行组织。
数据存储区中数据模型对原则层数据、基本整合数据、汇总数据和面向应用集市数据按数据层次进行管理,每个数据层有自己数据管理重点。
对于每个数据层次,再按主题进行分类组织。
这样就可以有效将银行公司操作型数据、汇总型数据和分析型数据以清晰架构组织、管理起来,并相辅相成。
数据层内容互相增进发展,构成银行完善数据集合,为各种主题管理应用构建提供良好数据架构基本。
一.2.3.7业务应用
业务应用是EDW系统向业务顾客提供应用功能支持,依照应用服务提供形式和所采用应用系统不同,业务应用重要定义在如下几种技术环境。
数据集市:
在业务应用层中包括了应用系统中需要应用集市、OLAP、静态报表等数据集市。
数据集市是一组特定、针对某个主题域、部门或顾客分类数据集合。
这些数据需要针对顾客迅速访问和数据输出进行优化,优化方式可以通过对数据构造进行汇总和索引。
通过数据集市可以保障EDW高可用性、可扩展性和高性能。
应用环境:
应用环境是为满足业务需要在数据EDW环境中配备应用软件包。
分析环境:
数据分析环境为EDW高品位顾客提供即时数据分析功能等。
报表环境:
报表环境是于来产生和发布静态报表环境,涉及:
产生静态报表、OLAP产生报表、KPI指标呈现以及其她系统产生报表。
一.2.3.8顾客环境
顾客环境是EDW系统最后向顾客提供某种应用服务集合,重要有三种应用服务体现形式:
通用呈现平台:
通过此平台将报表、KPI呈现、灵活查询、分析等各种应用集成到一种平台中,进行统一呈现和信息管理,涉及如:
报表生命周期管理等。
数据分发环境:
在数据分发过程中应提供大容量数据批量分发能力。
给其她需要某个系统数据提供数据互换功能。
报表分发环境:
报表分发应可以满足系统定义安全性,如按照不同顾客类型、不同组织进行分发,不同顾客和组织只能看到属于自己报表数据,数据分发将通过数据传播平台进行。
一.2.3.9元数据管理
元数据管理是对数据信息收集和发布集成管理,数据信息涉及:
数据业务含义和技术特性。
数据仓库系统架构中各个某些中都具有元数据信息,应对其进行积极式管理,以保证它正拟定义、收集和使用。
元数据是“关于数据数据”。
应涉及文献构造定义,数据库字段名称,数据模型中长度和原则,以及在域-域或域-报表相应关系中计算和公式等内容。
元数据管理架构如下图所示,系统最后架构应实现对元数据集中管理方式:
一.2.3.10系统安全性
EDW系统中数据和报表信息均为敏感信息。
因而必要采用恰当安全方略以保证其系统和数据安全性。
数据仓库系统安全性应涵盖如下四个方面:
⏹验证:
系统应对顾客进行访问控制,保证只有合法顾客才干进入到系统中;
⏹授权:
系统应依照顾客角色对其进行授权,涉及对数据访问权限,对功能使用权限等。
⏹机密性:
所有敏感数据必要被严格控制,禁止未授权访问,并保障其安全性。
⏹一致性:
数据和程序只能在授权模式下进行修改。
针对上述6个方面,数据仓库分系统应按照如下6个方面原则进行建设:
应用层
EDW应用系统是建立在OLAP软件平台基本上,应用层应实现顾客访问控制功能,针对不同顾客访问不同系统资源来保证整个应用系统安全性控制。
对于将来数据仓库系统来说,应与统一门户平台整合,实现整体安全性管理方略;
数据库层
只有被授权顾客才干访问和修改数据库中信息并且数据在传播过程中应对敏感信息进行加密解决来保证数据安全。
数据库管理员应按照角色对数据库顾客进行划分,并且通过赋予角色权限方式实现对顾客安全性访问控制管理,如:
针对顾客组或耽误顾客分派特定数据表访问权限。
系统层
系统应防止未授权访问和系统调用,及时进行系统安全补丁更新。
对于系统主机应采用服务器加固办法,来保证整个系统安全性。
网络层
网络层安全是保证网络节点之间数据传递安全性,以及网络环境不受恶意袭击。
XX银行数据仓库环境建立在公司内部网络中,不同功能服务器应布置在不同网段中,网段之间互相隔离,对网段之间访问应通过防火墙并定义严格访问控制方略。
整个系统网络环境应得到实时监控,对入侵进行检测和解决,并在发生入侵时告知系统管理员。
物理层
物理层安全保障物理设备(主机、路由器等)不受非法顾客袭击。
当前物理设备安全性由运营中心负责。
管理
管理某些与上述所有安全问题有关,对安全问题管理必要由各种部门共同协作完毕。
管理层面涉及:
⏹安全资源:
实现各种安全使用资源,如:
防火墙,入侵检测和解决设备,反病毒软件等;
⏹安全方略和规划:
各种安全规则,组织和负责人;
⏹突发事件解决:
在发生安全威胁时应急解决流程,涉及:
事件记录、时间报告制度等流程;
⏹安全审计:
对安全方略审核和检查;
⏹劫难恢复筹划:
发生问题后系统和数据恢复;
一.3EDW逻辑架构
一.3.1逻辑架构框架
如上图所示XX银行EDW逻辑体系架构,这一架构是在联科可扩展EDW系统框架基本上,结合XX银行信息系统建设实际状况而设计出来多层、可扩展框架构造。
架构核心上涉及源数据层、ETL流程调度、数据平台层、数据集市层、应用服务层、访问控制层、顾客层和数据消费传播通道七个大某些,此外,元数据管理和安全管理也是系统必不可少某些,这2某些会涉及到所有核心层次。
在明拟定义各层之间接口后,多层框架构造具备高度扩展能力和以便系统开发和维护性能,符合当前流行多层应用构造,适合EDW系统多阶段、多层次应用特点。
一.3.1.1源数据层
【功能与作用】
总行各个业务系统为整个EDW系统提供原始数据支持,一方面作为ETL层数据抽取源。
【构成某些】
当前总行数据源涉及XX银行各种业务系统,重要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。
一.3.1.2ETL流程调度层
【功能与作用】
该层为EDW数据流向重要环节,EDW系统数据流动流程调度核心层,流程调度重要针对下面几种方面:
⏹EDW系统将数据源数据抽取到数据落地区
⏹EDW系统对数据执行格式转换、排序去重、通用数据清洗、业务转换后等操作,最后完毕数据准备区加载。
⏹EDW系统再将数据准备区数据按照EDW数据模型方式加载到数据存储区中。
⏹在数据存储区中进行基本数据层、加工汇总层和应用集市层数据加载。
⏹EDW中数据准备区和数据存储区可觉得为其他系统提供数据服务。
⏹总行EDW可觉得分行EDW提供数据服务。
【构成某些】
上面逻辑架构图淡绿色色矩形某些为ETL调度管理技术架构图,其作用是让许多任务在作业执行条件满足时自动地执行。
ETL调度管里最基本可执行元素是单元,每个单元是完毕某一特定功能程序,有关单元组合在一起构成了可以调度最小组件——任务。
由上面技术架构图可知,ETL调度管里包括下列组件:
⏹知识库
建立在DB中一种数据库,包括了与流程调度有关一组表,保存ETL流程调度服务器、任务、任务之间依赖触发关系、任务组、调度筹划等各种类型信息。
⏹侦测器
驻留在后台服务,基于定义触发规则和调度筹划监测与否触发任务执行。
⏹任务调度引擎
接受侦测器信息调度任务执行(可以使本服务器任务也可以是其他服务器任务)。
⏹任务执行代理
调用任务包括每个单元执行服务,同一服务器上可以有各种任务执行代理同步运营。
⏹任务
封装在Perl程序中,执行数据加载、整合、立方体生成等工作一组程序。
⏹日记管理引擎
记录ETL调度管理各个服务器组件以及每个任务执行日记,日记按天保存,可以定期清理。
⏹管理监控器
Java应用程序,用于定义任务、任务组合触发关系等信息,同步可以实时监控任务执行状况查看日记。
作为专门为数据仓库系统设计流程调度管理具备如下特点:
⏹任务执行代理可分布在多台服务器上。
⏹构造简朴、伸缩性强。
⏹支持各种执行任务。
1)加载数据
2)整合数据
3)数据质量检查和清洗
4)数据转换
5)OLAP数据生成
6)数据挖掘模型执行
7)定制报表产生
8)定制页面产生
9)数据库备份、告警等系统作业
10)调用其她ETL/ELT工具产生任务
11)数据导出到指定渠道系统
⏹执行任务可以是另一种任务调度引擎触发(如:
EDW)。
⏹可以启动其他ETL引擎任务。
一.3.1.3数据平台层
【功能与作用】
作为本系统数据核心某些,它负责存储和管理来自各种源数据系统数据,并为访问顾客提供数据服务。
这些数据是按照在逻辑数据模型分主题存储。
【构成某些】
本层由操作型存储区、仓库存储区和集市应用层四个某些构成。
详细内容参见“EDW数据架构”
一.3.1.4数据集市层
【功能与作用】
数据集市是一组特定、针对某个主题域、部门或顾客分类数据集合。
这些数据需要针对顾客迅速访问和数据输出进行优化,优化方式可以通过对数据构造进行汇总和索引。
通过数据集市可以保障EDW高可用性、可扩展性和高性能。
【构成某些】
涉及:
驾驶舱报表系统和灵活查询以及其她应用集市系统。
一.3.1.5应用服务层
【功能与作用】
通过对数据平台层中数据进行恰当提炼、汇总,运用通用呈现平台向顾客提供涉及报表服务、查询服务、决策仪表盘等有关服务。
该层为顾客对中央数据访问提供各种方式服务(C/S、B/S),从而实现访问方式多样化和信息存取透明化。
【构成某些】
通用呈现平台重要涉及功能模块有:
第一种层次是核心模块涉及:
框架、引擎,核心模块作为报表集成开发环境基本、核心和框架存在。
报表集成开发环境核心功能和模块组装由核心模块统一提供,只暴露给开发人员;
第二个层次是管理模块涉及:
报表信息、基本管理、代理、信息推送、连接信息,管理模块为报表集成开发环境提供管理服务,它提供报表集成开发环境顾客、权限等统一管理,管理模块也是报表集成开发环境必选模块,它诸多功能调用由核心模块提供,管理模块涉及5个子模块;
第三个层次是应用模块涉及:
仪表盘、灵活查询、数据录入、报表、复杂报表,应用模块提供报表集成开发环境最后顾客(非管理人员)顾客体验,可以和管理模块相结合有选取地灵活布置。
一.3.1.6访问控制层
【功能与作用】
访问控制层重要涉及WEB、认证、安全、门户四方面服务。
该层位于顾客层和中间服务层之间,为顾客层成提供HTTP服务、门户单点登录、顾客统一认证、提交顾客层祈求到中间服务层,对顾客实行安全方略,为顾客管理报表、查询文档,提供个性化定制等。
一.3.1.7顾客层
由上面逻辑架构图可知顾客层涉及各种最后顾客。
按照顾客使用EDW系统方式和特点,可以划分为业务分析人员、高档分析人员和管理决策人员。
所有顾客统一通过顾客门户访问EDW系统各类应用,从而实现了EDW系统应用界面、安全管理统一,同步顾客可以对门户进行个性化定制以以便自己使用。
事实上,EDW系统还涉及进行系统建设开发人员、系统运营人员和系统管理人员,这里所指顾客层重要针对业务顾客进行描述。
⏹业务分析人员
重要指总行各业务部门、各分行业务顾客,如:
客户经理。
该类人员直接使用模块化应用界面访问EDW系统,生成或预览预定义报表,进行相对固定查询以及多维分析。
此类顾客会使用B/S和C/S两种客户端访问EDW系统。
⏹高档分析人员
是指总行各业务部门、各分行较为高档顾客。
除可以执行普通业务分析人员进行操作外,可以对指定主题、指标进行自定义灵活分析和比较。
分析方式涉及自定义查询、自定义报表、多维旋转和穿透钻取等等。
此类顾客会使用B/S和C/S两种客户端访问EDW系统。
⏹管理决策人员
重要涉及各部门领导、分行领导和总行领导。
EDW系统为管理决策人员分派专门系统资源,建立最为直观和以便存取界面,为决策人员赋予最大信息访问权限,实现决策人员对信息自由访问。
同步,EDW系统将决策人员最为关怀信息积极发布到决策人员访问界面上,简化信息访问方式,使得决策人员在第一时间获得经营管理各种重要信息和指标。
此类顾客只会使用B/S客户端访问EDW系统。
一.3.1.8消费数据传播通道
在数据仓库系统建立后来,会有很长一段时间旧有报表系统和分析系统需要逐渐迁移,在此期间,需要有一种消费数据传播通道来支持旧有系统良好运转。
一.3.1.9安全管理体系
安全管理体系重要涉及如下四个方面:
⏹网络安全
重要涉及在不同网络层次设立不同级别防火墙及IDS系统,同步在每一种安全层次下通过布置不同安全原则,这完全符合XX银行安全级别规定。
⏹操作系统安全
系统所有应用或数据库服务器均采用Unix操作系统,操作系统自身有着严密系统安全认证与顾客权限管理体系,并具备登录、审核以及资源访问审计与跟踪。
⏹数据安全
提供各种基于数据库安全保护机制。
⏹应用安全
应用是直接面对顾客,虽然应用系统可以持续提供服务是涉及到系统安全问题,但是由于这些问题更多是由系统安全问题来保证。
因此就应用级安全方略更多是保证对数据访问合法性。
一.3.1.10元数据管理体系
在机构内关于数据信息称为“元数据(Metadata)”。
清晰地区别数据库中数据和元数据是很重要,所谓元数据,是指关于数据数据,即用来描述数据类型、来源、定义、存储位置,使得可以对的地使用数据仓库。
元数据仓库(MetaDataRepository)对业务人员来说是很重要,是业务人员与数据仓库数据交流传达手段。
IT人员也许已经拥有许多有效工具进行数据存取。
但对业务人员,她们需要一种手段和工具来理解她们存取数据。
在本期EDW系统建设中,涉及技术元数据和业务元数据两类,其数据源涵盖了EDW系统各个环节,涉及:
数据源系统、EDW数据库、EDW逻辑数据模型、ETL系统、业务应用系统等,同步,还将涉及数据业务含义和业务规则等有关业务文档。
在架构上,元数据系统涉及:
元数据应用、元数据报表、元数据分析、元数据集成系统、元数据呈现系统、元数据管理系统、元数据维护系统。
一.3.2数据解决流程
各业务数据源系统通过各种方式(如:
ETL工具直接从源系统获取、源系统数据批量导出)将数据获取过来,由数据落地区区进行集中管理。
后续数据加工、转换通过ETLServer来完毕,中间采用不落地方式,将加工完毕后数据放在数据准备区域。
ETLServer可通过dsjob,FTP,NFS等方式从数据落地区获取数据,将解决后成果放在数据准备区域。
再将数据准备区数据加载到数据存储区中。
依照目的系统不同,采用灵活方式向外提供数据,可使用ETL工具直接向目的系统加载或者通过FTP方式向其她目的传播。
为支持其她业务需求,将近期(30-60天)明细数据、流水数据集中存储在数据库系统中,寻常增量数据刷新数据库系统。
整个过程通过调度工具进行统一调
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 银行 数据仓库 建设项目 方案 样本