中信银行ODS方法.docx
- 文档编号:10121144
- 上传时间:2023-02-08
- 格式:DOCX
- 页数:134
- 大小:80.23KB
中信银行ODS方法.docx
《中信银行ODS方法.docx》由会员分享,可在线阅读,更多相关《中信银行ODS方法.docx(134页珍藏版)》请在冰豆网上搜索。
中信银行ODS方法
1、概述...........................................................................................................16
1.1、中信银行ODS项目建设背景及思路.....................................................................16
1.1.1、背景.........................................................................................................................16
1.1.2、建设思路.................................................................................................................16
1.2、中信银行ODS项目架构方法论.............................................................................18
1.3、逻辑架构...................................................................................................................20
1.4、数据架构...................................................................................................................21
1.4.1、数据架构.................................................................................................................21
1.4.2、指标.........................................................................................................................22
1.5、技术架构...................................................................................................................25
1.5.1、ETL.........................................................................................................................25
1.5.2、指标服务.................................................................................................................25
1.5.3、数据展示.................................................................................................................26
1.6、物理架构...................................................................................................................26
1.6.1、ODS总行物理架构................................................................................................26
1.6.2、ODS分行物理架构................................................................................................27
2、数据模型设计...........................................................................................28
2.1、数据模型的设计目标...............................................................................................28
2.1.1、满足OLAP分析....................................................................................................28
2.1.2、统一业务数据视图,保证数据的一致性.............................................................29
2.2、数据模型设计方法论...............................................................................................29
2.2.1、源系统调研方法论.................................................................................................29
2.2.2、源系统调研工作模板.............................................................................................31
2.2.3、数据模型设计方法论.............................................................................................33
2.3、相关概念...................................................................................................................35
中信银行ODS项目-技术方案
第3页,共281页
2.4、核心逻辑数据模型...................................................................................................36
2.4.1、主题域描述.............................................................................................................36
2.4.2、主题域关系图.........................................................................................................37
2.4.3、主题域业务规则.....................................................................................................38
2.5、数据分析模型—客户、产品和绩效主题应用.......................................................43
2.5.1、统一客户视图—客户关系管理.............................................................................43
2.5.2、统一产品视图—产品管理.....................................................................................51
2.5.3、统一渠道视图-渠道分析........................................................................................53
2.5.4、绩效考核框架.........................................................................................................54
2.6、数据模型的层次化设计...........................................................................................58
2.6.1、管道层数据模型(CDM)....................................................................................58
2.6.2、清洗和转换层数据模型(TDM)........................................................................59
2.6.3、原始层数据模型(ODM)....................................................................................59
2.6.4、逻辑数据模型(LDM)........................................................................................59
2.6.5、应用数据模型(ADM)........................................................................................60
3、数据库设计...............................................................................................61
3.1、数据量估算方法.......................................................................................................61
3.2、数据库、表分区设计方法.......................................................................................61
3.2.1、面临的问题.............................................................................................................61
3.2.2、解决方法.................................................................................................................62
3.2.3、分区及标准.............................................................................................................63
3.3、表索引设计方法.......................................................................................................66
3.3.1、索引的存储.............................................................................................................66
3.3.2、使用索引的时机.....................................................................................................66
3.3.3、索引列和表达式的选择.........................................................................................66
3.3.4、复合索引.................................................................................................................67
3.3.5、避免对大表的全表扫描.........................................................................................67
3.4、代理键设计方法.......................................................................................................68
3.5、表空间和日志空间规划方法...................................................................................69
中信银行ODS项目-技术方案
3.6、SQL优化方法...........................................................................................................71
3.6.1、一般原则.................................................................................................................71
3.6.2、表连接原则.............................................................................................................71
3.6.3、有效使用索引.........................................................................................................72
3.7、如何避免表级锁.......................................................................................................72
4、ETL设计..................................................................................................73
4.1、ETL总体方案...........................................................................................................73
4.1.1、设计原则.................................................................................................................73
4.1.2、总体架构.................................................................................................................73
4.1.3、ETL任务................................................................................................................74
4.1.4、ETL过程................................................................................................................76
4.1.5、ETL安全................................................................................................................77
4.1.6、方案特点.................................................................................................................77
4.2、ETL编程规则...........................................................................................................78
4.3、ETL流程设计原则...................................................................................................80
4.4、ETL作业调度设计...................................................................................................83
4.5、ETL作业监控设计...................................................................................................86
4.6、ETL作业开发原则...................................................................................................87
4.7、ETL作业设计原则...................................................................................................88
4.8、文件落地处理...........................................................................................................88
4.9、特殊字符处理...........................................................................................................89
5、前端展现...................................................................................................91
5.1、前端展现概述...........................................................................................................91
5.2、报表制作方案...........................................................................................................92
5.2.1、查询.........................................................................................................................93
5.2.2、报表.........................................................................................................................94
5.2.3、分析.........................................................................................................................95
5.3、报表开发过程...........................................................................................................96
中信银行ODS项目-技术方案
第5页,共281页
5.4、报表管理平台功能模块设计...................................................................................97
5.5、跨系统报表管理.............................................................
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中信 银行 ODS 方法