datawarehouse数据仓库培训.ppt

datawarehouse数据仓库培训.ppt

《datawarehouse数据仓库培训.ppt》由会员分享，可在线阅读，更多相关《datawarehouse数据仓库培训.ppt（34页珍藏版）》请在冰豆网上搜索。

数据仓库系统架构陈冬主要内容数据仓库的概念数据仓库系统架构数据仓库在盛大的应用1.1数据仓库的定义1.2.1数据仓库的特征-面向主题1.2.2数据仓库的特征-集成1.2.3数据仓库的特征-相对稳定1.2.4数据仓库的特征-反映历史变化1.3OLTP数据库与数据仓库的对比OLTP数据库数据库数据仓库数据仓库细节的综合的（提炼的）当前数据历史及周边相关数据可更新不更新（可周期性刷新）面向应用，事务驱动面向分析，分析驱动操作需求事先可知道不知道一次操作数据量小一次操作数据量大支持日常操作支持管理需求性能要求高对性能要求较宽松2.1数据仓库的架构MetaDataDataMartsDataMartsDataAnalysisBusinessModelingDataMiningQuery&ReportingPortalDataWarehouseManagement数据源数据源EnterpriseDataWarehouseOLAPDataWarehouseGenerationOperationalDataStoreExtract,Transform,Load文件数据库外部数据用户用户元数据管理元数据管理（CWM）数据数据仓库管理管理（OEM）2.2.1ETL过程介绍2.2.2ETL实现的功能功能功能数据来源的访问ExpressionAggregationorSummarizationJoinorLookup对目标的更新流程调度和定时任务2.3数据仓库的架构-ODSMetaDataDataMartsDataMartsDataAnalysisBusinessModelingDataMiningQuery&ReportingPortalDataWarehouseManagement数据源数据源EnterpriseDataWarehouseOLAPDataWarehouseGenerationOperationalDataStoreExtract,Transform,Load文件数据库外部数据用户用户元数据管理元数据管理（CWM）数据数据仓库管理管理（OEM）2.3.1ODS介绍n定义定义是操作型系统中的集成,用于当前，历史以及其它细节查询（业务系统的一部分）为决策支持提供当前细节数据（数据仓库的一部分）n作用在业务系统和数据仓库之间形成一个隔离层转移一部分业务系统细节查询的功能完成数据仓库中不能完成的一些功能2.4数据仓库的架构-元数据MetaDataDataMartsDataMartsDataAnalysisBusinessModelingDataMiningQuery&ReportingPortalDataWarehouseManagement数据源数据源EnterpriseDataWarehouseOLAPDataWarehouseGenerationOperationalDataStoreExtract,Transform,Load文件数据库外部数据用户用户元数据管理元数据管理（CWM）数据数据仓库管理管理（OEM）2.4.1元数据描述n定义是描述数据仓库内数据的结构和建立方法的数据n内容数据结构：

数据集的名称、关系、字段、约束等数据部署：

数据集的物理位置数据流：

数据集之间的流程依赖关系质量度量：

数据集上可以计算的度量度量逻辑关系：

数据集度量之间的逻辑运算关系ETL过程：

过程运行的顺序数据模型元数据：

事实表、维度、属性、层次报表语义层：

报表指标的规则、过滤条件、物理名称和业务名称的对应数据访问日志：

哪些数据何时被何人访问数据装载日志：

那些数据何时被何人装载2.5数据仓库的架构-数据集市MetaDataDataMartsDataMartsDataAnalysisBusinessModelingDataMiningQuery&ReportingPortalDataWarehouseManagement数据源数据源EnterpriseDataWarehouseOLAPDataWarehouseGenerationOperationalDataStoreExtract,Transform,Load文件数据库外部数据用户用户元数据管理元数据管理（CWM）数据数据仓库管理管理（OEM）2.5.1数据集市-定义DM数据集市（DataMart）有特定应用，面向部门，由业务部门定义设计、管理维护，它是数据仓库的一个子集。

2.5.2数据集市-维度，层次，事实数据n维（Dimension）：

观察的角度时间维地域维玩家类型维n层（Layer）：

观察的深度，与维相关，即维的粒度时间维：

年，月，周，日地域维：

国家，省，市玩家类型维：

黄金会员，钻石会员，白金会员n事实（Fact）/量值（Measure）消耗人数消耗金额2.5.3数据集市-星型模型Day_idPopt_idItem_idArea_idConsume_priceConsume_num玩家消耗事实表玩家消耗事实表Day_idDay_descMonthQuarterYear时间维度表时间维度表Item_idItem_nameItem_typeItem_price道具维度表道具维度表Popt_idPopt_namePopt_accPopt_age帐号帐号维度表维度表2.5.4数据集市-雪花型模型Day_idPopt_idItem_idArea_idConsume_priceConsume_num玩家消耗事实表玩家消耗事实表Item_idItem_nameItem_typeItem_price道具维度表道具维度表Popt_idPopt_namePopt_accPopt_ageScore_level帐号帐号维度表维度表Score_levelLevel_name会员等级维表会员等级维表Item_typetype_name道具类别维表道具类别维表2.6数据仓库的架构-OLAPMetaDataDataMartsDataMartsDataAnalysisBusinessModelingDataMiningQuery&ReportingPortalDataWarehouseManagement数据源数据源EnterpriseDataWarehouseOLAPDataWarehouseGenerationOperationalDataStoreExtract,Transform,Load文件数据库外部数据用户用户元数据管理元数据管理（CWM）数据数据仓库管理管理（OEM）2.6.1OLAP-定义nOLAP联机分析处理OLAP（On-LineAnalyticalProcessing）使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术2.6.2OLAP-多维模型23地域地域北京北京江苏江苏浙江浙江上海上海湖北湖北上海上海08时间时间:

月月050607会员类别会员类别黄金黄金白金白金钻石钻石560021.32元元763人人4300次次钻石钻石082008-082008-08钻石会员钻石会员钻石会员钻石会员在上海的消耗数据在上海的消耗数据在上海的消耗数据在上海的消耗数据2.6数据仓库的架构-BIMetaDataDataMartsDataMartsDataAnalysisBusinessModelingDataMiningQuery&ReportingPortalDataWarehouseManagement数据源数据源EnterpriseDataWarehouseOLAPDataWarehouseGenerationOperationalDataStoreExtract,Transform,Load文件数据库外部数据用户用户元数据管理元数据管理（CWM）数据数据仓库管理管理（OEM）2.6.1什么是BIn商业智能（BusinessIntelligence）将企业中现有的数据转换为信息、知识，帮助企业做出业务经营决策的工具数据数据信息信息知识知识2.6.2常用数据分析方法分析方法分析方法可进行的分析可进行的分析对比分析对比分析同比分析（去年同期）、环比分析（上月同期）、基比分析（与报告期进行比较）、类比分析（同类商品进行对比分析）。

结构分析结构分析分析商品大类销售结构、楼层结构、利润贡献主要构成情况、供应商主要构成情况等等，常见的分析主要有饼图分析、帕雷托图（ABC）分析相关分析相关分析主要分析商品的相关性，即商品之间的促进关系和竞争关系分析，常见于商品微观分析。

统计分析统计分析对商品价格区间和销售区间等分析，主要对商品特征和消费群体的消费习惯进行分析。

进度分析进度分析主要分析计划完成进度情况预警监控预警监控预警监控商品存货情况以及对租户的达成率等进行监控趋势分析及预趋势分析及预测测对商品的销售周期进行分析以及根据以往的销售数据预测未来的销售走势2.6.3数据挖掘的应用n分类客户流失预测个人信用评分n聚类客户细分n关联规则交叉销售n预测股票价值预测3.1数据仓库在盛大的应用3.1数据仓库提供的服务n数据查询服务n数据访问接口n数据分析服务n数据挖掘与数据模型nBO报表服务nBDAP业务数据分析服务3.2业务数据分析平台nBDAP业务数据分析平台，包括即时查询，实时报警，数据分析，智能点评等功能。

3.3业务数据分析平台-示例业务概念核心数据展示条件核心数据的分解展示，弹出页面业务概念相关核心数据展示3.4BO应用3.5其他典型应用