数据仓库提纲全.docx
- 文档编号:8837670
- 上传时间:2023-02-02
- 格式:DOCX
- 页数:160
- 大小:118.15KB
数据仓库提纲全.docx
《数据仓库提纲全.docx》由会员分享,可在线阅读,更多相关《数据仓库提纲全.docx(160页珍藏版)》请在冰豆网上搜索。
数据仓库提纲全
第一讲数据仓库概述
►WhyDataWarehousing?
►DW’sDefinition
►DW’sComponent
►NowandFuture
§1.WhyDW
►对战略信息的不断增长的需要
►以往的决策支持系统的失败
►操作型系统和决策支持系统
►数据仓库:
唯一可行的解决方案
►数据仓库的功能性定义
►1960年开始的TPS,MIS,DSS
►20世纪90年代复杂的商业活动
一、对战略信息的不断增长的需要
►战略信息(决策信息,strategicinformation)不为企业日常运作所用
►商业决策有赖于正确的战略信息
►战略信息的特点
二、以往的决策支持系统的失败
►IT部门一直努力为公司关键人物提供用于战略决策的信息
▪忙
▪受不到应有的尊重
▪个人价值无法真正的体现
►IT部门所作的大部分工作以失败告终
▪从不同的系统查询数据
►费了九牛二虎之力得到的报表生命如此短暂
▪数据的不一致性
▪数据完整性差
▪用户不能明确的告诉我们他们到底想要什么
►给了第一张报表,他要另外一张报表
决策支持系统的历史
►决策支持系统的历史
▪即席查询报表
▪特殊抽取程序
▪小应用程序
▪信息中心
▪决策支持系统
▪主管信息系统
缺乏提供战略信息的能力
►过去,每个试图提供战略信息的系统都不能令人满意
▪IT部门接到了太多的特别查询要求,负荷过重
▪这些请求不仅量大,而且总在变
▪用户需要越来越多的补充报表,例如各种可能的组合
▪用户只能依赖IT部门,不能直接访问信息
▪IT部门不能提供适合制定战略决策信息灵活、对分析有指导作用的环境
三、操作型系统和决策支持系统
►IT部门试图提供决策的战略信息的尝试大都以失败告终!
Why?
?
?
▪我们一致试图从操作型系统中提供战略信息
▪我们必须构建能提供战略信息的决策支持系统或者信息系统
操作型系统vs.信息型系统
►操作型系统,OLTP
▪取订单
▪处理呼叫
▪装货
▪开发货单
▪收取现金
▪预定座位
操作型系统vs.信息型系统
四、数据仓库:
唯一可行的解决方案
►一种新类型的系统环境
▪为分析任务而设计的数据库
▪从多种应用程序获取的数据
▪使用方便,有益于用户的长时间交互式操作
▪大量读取的数据使用
▪用户可以与系统直接交互
▪内容可靠,定期更新
▪数据包括当前的和历史的
▪用户可以查询,并在线得到结果
▪用户可以创建报表
►新环境下的需求处理:
分析性的处理需求。
分为四个层次
▪对当前和历史数据简单查询和报表处理
▪可以用很多不同的方法进行“WhatIf”分析
▪可以查询、后退、分析
▪认清过去的发展趋势,并将其应用于对未来结果的分析
►数据仓库的商业智能
BI:
BusinessIntelligence
五、数据仓库的功能性定义
►数据仓库是提供战略信息的唯一可行的解决方案
►数据仓库功能性的定义
▪数据仓库是一种信息环境,它能够:
►提供对企业综合、完整的概括
►使决策者所需要的当前数据和历史数据都方便易得
►无需妨碍操作型系统,也能使支持决策的处理成为可能
►使企业的信息保持一致性
►提供了一个灵活的、交互的战略信息来源
数据仓库是信息传递的一种简单概念
►数据仓库的来源在于对战略信息的需求和对操作型计算环境的不满
►数据仓库不“创造”新的数据
►数据仓库概念简单
▪使用所有现存的数据
▪通过清洗、转换
▪提供有用的决策信息
►数据仓库是一种环境,而不是产品
▪你不可能买到数据仓库
▪但你可以构建自己的数据仓库
▪数据仓库新型计算环境的特点
►数据分析和决策支持的理想环境
►不固定,灵活、交互式操作
►100%用户驱动
►适合”提问-回答-再提问”的模式
数据仓库是多种技术的混合体
►数据仓库的基本概念
▪从操作型系统中提取所有数据
▪在需要的时候可以将外部数据包含其中
▪将多种数据源的所有数据进行整合
▪转换数据,去掉不一致性
▪用适合决策的易于存取的格式存储数据
第一讲数据仓库概述
►WhyDataWarehousing?
►DW’sDefinition
►DWvs.DataMart
►DW’sComponent
►NowandFuture
§2.数据仓库定义
►数据仓库的创始者BillInmon:
“ADataWarehouseisasubjectoriented,integrated,nonvolatile,andtimevariantcollectionofdatainsupportofmanagement’sdecisions.”
“数据仓库是为支持管理决策建立的,面向主题的,综合的,稳定的,随时间变化的数据集合”
►数据仓库的开拓者SeanKelly,认为数据仓库中的数据是:
▪彼此分离
▪可利用的
▪综合的
►“面向主题”的数据
▪在操作型系统中,各行业的数据集合都是围绕单独的应用程序进行组织的
▪在数据仓库中
►数据是按主题而不是按照应用程序存储的。
►数据是跨应用程序的
⏹主题:
宏观分析领域所涉及的分析对象
面向主题的数据组织方式:
在较高的层次上对分析对象的数据的一个完整、一致的描述。
⏹采用面向事务进行数据组织,其特点为:
▪充分考虑企业的部门组织结构和业务活动
▪反映企业内部数据流动情况,业务处理的数据流程
▪与业务处理流程中的单据、票证、文档有良好的对应
▪数据与应用(数据的处理)有一定的对应
►例:
保险公司:
▪面向应用(操作):
财产险、寿险、健康险、意外险。
▪面向主题:
客户、保单、保费、理赔(赔款)。
►“综合”的数据
▪数据仓库中的数据来自不同的数据库、文件、数据段。
(内部或者外部,不同的平台)
▪数据进入数据仓库前,需要进行的标准化工作:
►命名规则
►编码
►数据的“时间特性”
▪数据仓库中的每一个数据结构都包含了时间要素。
▪数据仓库中的数据是和时间变化相关的数据
►可以对过去进行分析
►与当前的信息相关
►可以对未来进行预测
►数据的非易变性(相对稳定)
▪操作型系统的数据实时地进行更新,每次交易发生都要更新;数据仓库中的数据非实时性更新
▪数据仓库中的数据用来进行查询和分析的
►不能在数据仓库中实时地删除数据
►不能在数据仓库中修改数据
数据粒度(DataGranularity)
►数据粒度:
数据的细节程度
▪在操作型系统中,数据粒度一般都很细。
一般不保存加和的数据。
▪在数据仓库中,保存加和这一个数据项。
一般来说,按不同层次组织数据,用户是从高层次向低层次的细节过渡。
▪根据需求的不同,需要不同层次的数据细节。
第一讲数据仓库概述
►WhyDataWarehousing?
►DW’sDefinition
►DW’sComponents
►NowandFuture
§3.数据仓库的组成部分
►数据仓库:
各个功能块或组件
一、源数据部分
▪主要类别
►生产数据:
多个系统多种数据的标准化、转换、整合
►内部数据:
表格、文档
►存档数据:
旧的历史的数据
►外部数据:
社会的企业,社会的人
二、数据准备部分
►ETL(ETCL)
▪数据抽取(Extract):
多源、异构数据的抽取
▪数据转换(Transform):
清洗(Clean)、标准化等过程
▪数据装载(Load)
►这个过程需要很多的时间
►最初的装载工作需要载入大量的数据
►更新周期的决定(年、季、月、日)
三、数据存储部分
►数据仓库的数据存储器是一个独立的部分
►与操作型的数据库分开存储
▪大多数数据仓库都采用关系数据库管理系统
四、信息传递部分
►多种信息传递方式
▪特别的报表
▪复杂的查询
▪多维分析
▪统计分析
▪主管信息系统的需求
▪数据挖掘
五、元数据MetaData
▪描述数据的数据
▪数据仓库内容的一本字典
▪元数据是数据仓库数据本身信息的数据
▪元数据的类型
►操作型元数据
▪包含了所有操作型数据源的信息
►抽取和转换元数据
▪包含了源数据系统的数据抽取信息(抽取方法、抽取商业规则)
►最终用户元数据
▪允许最终用户使用自己的商业术语和自己一般认可的方式来找寻信息
▪元数据对于数据仓库极其重要
第一讲数据仓库概述
►WhyDataWarehousing?
►DW’sDefinition
►DW’sComponents
►NowandFuture
§4.数据仓库的发展趋势
►数据仓库的持续增长
►重要趋势
►标准的出现
►支持Web的数据仓库
一、数据仓库正在成为主流
►最初,有4个主要因素促使大量的公司使用数据仓库
▪激烈的竞争环境
▪政府减少管制
▪重构内部流程的需要
▪急需为用户定制的市场销售策略
►目前,DW存在于可以想象得出的所有行业
▪公益事业、媒体/出版业、航空业、咨询业、零售业、高科技产业、金融服务、制药业、软硬件业、商业服务、制造业、消费者服务业、电信业、保险业、运输业、政府部门、医疗卫生、其他、银行业、法律业、教育、石油化工
▪今天电信和银行业继续在DW投入上保持领先的地位,这两个行业的15%预算都用在了DW的建设上
►在DW发展初期,建造DW非常昂贵,今天完整的解决方案越来越便宜。
数据仓库的扩张
►各行各业开始有能力获取、清洗、维护和使用商业交易而产生的大量数据,构建自己的DW
▪电信呼叫交易数量
▪银行消费数量
▪连锁零售业
▪etc.
解决方案和产品
▪最初非常多、而且乱、概念不统一
►DW供应商>OS、数据库提供商?
▪市场慢慢的成熟起来了
二、重要趋势
►多种数据类型
►数据可视化
►并行处理
►查询工具
►浏览工具
►数据融合
►多维分析
►代理技术
►企业组合数据
►数据仓库和ERP
►数据仓库和知识管理
►数据仓库和CRM
►多种数据类型
▪增加非结构化数据
▪查询非结构化数据
▪空间数据
►数据可视化
▪可视化趋势
►更多的图表类型
►交互可视化
►庞杂结果的可视化
▪高级可视化技术
►表格的操作
►向下钻取
►高级互动
►并行处理
▪并行处理的硬件(共享存储、非共享存储)
▪并行处理软件(数据库产品供应商通常提供)
▪数据仓库中实施并行
►提高查询处理、数据装载和索引创建的性能
►规模可扩展(CPU、内存数)
►容错能力
►查询工具:
DW成败依赖于查询工具
▪灵活的展现方式
▪跨主题区域
▪整合性:
整合不同的查询工具
▪克服SQL的局限性
►浏览工具
▪一个广泛、普遍的概念,浏览工具的趋势
►允许定义任何类型的数据或者对象
►区别不同用户群体的浏览功能
►能够浏览数据字典或者元数据
►提供Web浏览和查找技术来浏览信息目录
►数据融合
▪合并不同数据源数据的技术
▪DW中数据量巨大,因而就更难在合适的时间找到准确的信息,数据融合技术有望解决这一问题。
▪处于研究阶段,我们目前所能做的就是关注与研究
►多维分析
▪每个DW环境都提供的功能
▪是个产品
▪也可称作联机分析处理OLAP
►代理技术
▪软件代理就是能够代表用户完成预定义的程序。
▪数据仓库的规模持续增长,代理技术应用得越来越多。
►风险识别(规则识别、表示代理程序预警OneORAll)
►企业组合数据
▪DW需要丰富的数据内容
►DW数据来源
▪操作型数据库
▪外部数据(更大、更多的周遭环境数据)
▪企业组合数据正在成为一个巨大的商机
►数据仓库开发者们正在寻找新的供应商来提供其他类型的企业组合数据
►数据仓库和ERP(EnterpriseResourcePlanning)
▪ERP(20世纪90年代兴起)
►大量独立的应用,缺乏整体概览分析
►从各种系统获取信息的不可行性
▪ERP软件包中的数据:
软件包属于专卖品,数据格式独特
▪整合ERP和数据仓库
►ERP中大量的数据库表单并不适合提供战略信息
►ERP中缺乏外部数据和公司中其他操作型系统的数据
▪整合选择
►ERP供应商将DW思想融入其中
►建立DW,从ERP中抽取数据
►数据仓库和知识管理(KnowledgeManagement)
▪KM
►操作型系统处理数据
►信息型系统提供战略决策信息
►KM让用户在正确的时间、地点使用正确的信息。
知识存在于公司的各个角落。
▪从知识管理系统中得的知识可以为从数据仓库中得到的信息提供隐含在数据背后的线索。
►看见销售额下降了,Why?
问题清楚了:
看到了分析人员的文档资料
►整合知识库与数据仓库
知识库和数据仓库的整合
►数据仓库和CRM
▪激烈的市场竞争环境使得越来越多的企业关注如何挽留客户和赢得新的客户。
▪问题
►建设DW时,能为CRM做些什么?
►如果已有DW,如何调整以提高服务客户水平?
▪能够进行客户关系管理的数据仓库
►大量的数据为更好的进行CRM提供了数据基础
►传统的数据仓库工具对于从CRM中ETCL数据到DW支持的不够
三、标准的出现
►数据仓库环境是多种技术的混合
▪数据建模
▪数据抽取
▪数据转换
▪数据库管理系统
►DW热门的行业以及支持众多技术方面,都有大量可供选择的供应商和产品
▪有多个供应商和产品关注DW是好消息
▪但,当我们试图使用多个供应商的产品时,结果可能一团糟
►两个领域的标准至关重要:
元数据OLAP
►元数据
▪每个产品都会增加自己的元数据
▪每个产品都会用到别的产品产生的元数据
▪元数据是数据仓库的信息地图
▪元数据像胶水一样将所有的功能模块连接在一起
►OLAP
▪每个DW都有OLAP的功能
▪OLAP提供多维分析、多视角的信息和复杂计算
►元数据:
有两个组织致力于该标准的制定
▪元数据联盟
►1995年10月成立
▪供应商、团体组成
▪微软1998年12月加入该组织
►1999年7月将“开放式信息模型(OIM)”作为元数据标准
▪对象管理小组(ObjectManagementGroup:
OMG)
►由Oracle、IBM、HP、Sun等公司组成
►2000年月,OMG将“通用数据仓库元模型(CWM)”作为数据仓库元数据交换的标准
▪2000年4月,元数据联盟和OMG组织都表示他们将会一起合作制定一个统一的标准,但到现在还是一个难以达到的目标。
►OLAP
▪OLAP委员会于1995年1月成立
▪成员主要有
►OLAP产品供应商
►兴趣小组、个人
►NCR、IBM、BusinessObjects等
▪致力于多维应用程序接口(MDAPI)的OLAP标准的工作
►NewVersion:
MDAPI2.0
►各OLAP、平台供应商、咨询顾问、系统集成商宣布支持MDAPI2.0
四、支持Web的数据仓库
Internet的发展、再发展
►Web已经成为全世界的信息传递系统
►EC的迅猛发展
Internet给DW的启示
►利用Internet和Web技术的潜力提高DW的价值
▪将DW的信息发布到Web上
▪从Web上汲取信息
►DW的建设要考虑到对电子商务的支持
将数据仓库放入Web中
►早期的应用中,DW是用来帮助高层员工、管理者进行分析和决策的工具,C/S模式
►今天,企业需要提高整个公司价值链上所有成员的生产力
►Web技术成为主要的信息传递机制,B/S模式
将Web技术引入数据仓库
►收集所有访问公司站点的访问者点击信息
▪数据网络仓库(DataWebhouse)
►点击流数据记录了人们浏览公司网站的过程
▪客户需求、市场推广效果、各产品之间的联系、客户购买模式、与客户相关的统计数据的收集
►点击流网络仓库是识别、挽留电子交易客户的重要工具,能带来下列价值信息
▪站点统计数据、广告效果、合作伙伴、站点导航、对客户的分析
►执行所有传统数据仓库的功能
支持Web技术的配置
►Web技术和数据仓库技术的结合,对于21世纪每一家企业都有极其重要的意义
►实现Web技术的数据仓库体系结构
小结
►企业非常需要战略信息来应对激烈的竞争、扩大市场份额,并且提高企业利润
►虽然企业在过去的几十年里积累了大量额数据,但还是难免于信息危机的困扰,战略决策所需的信息不容易得到
►IT部门曾经试图提供战略信息,但失败了。
主要原因在于他们试图从操作型系统中提供战略信息
►信息型系统与传统的操作型系统不同,操作型系统不是为战略信息而设计的
►需要一种新的计算环境来提供战略信息,数据仓库是唯一可行的解决方案
►每一个企业都有对数据仓库的迫切要求
►数据仓库定义的特点是:
面向主题的、完整的、包含时间变量的、非易变的
►我们可以自上而下建立数据仓库或者自下而上建立数据集市,但各有优缺点
►数据仓库的组成部分包括:
源数据、ETL、数据存储、信息传递、元数据和管理控制
►元数据非常重要,它负责连接数据仓库的所有部分并为最终用户提供向导。
►数据仓库已经成为主流
►数据仓库需要多种类型的数据
►数据可视化解决了用多种形式展现信息的问题
►并行处理可以提高数据仓库的性能
►DW与ERP、KM、CRM共同工作是一个至关重要的问题
►DW正在寻找元数据和OLAP的标准
►实现Web技术的DW
第二讲维度分析与维度建模
提纲
§1.定义商业需求
一、维度分析
2.商业数据的维度
▪管理者从商业维度的角度来看待商业问题
二、信息包
►不完全确定的需求(续)
▪一个信息包
▪信息包的作用
►定义主题
►设计关键业务指标
►建立数据粒度
►估计数据仓库的规模
►决定数据更新的频率
►确定如何将信息打包
►¡
3.维度层次和分类
4.用关键商业指标或事实(Fact)
三、收集需求的方法
四、需求定义:
范围和内容
文档需要包括的信息类型
(1)
文档需要包括的信息类型
(2)
小结
§2维度建模的原则
►目标
▪理解需求定义如何影响数据设计
▪星型模式的基础知识
▪找出事实表以及维度表中的内容
▪数据仓库中应用星型模式的好处
►Contents
▪从需求到数据设计
▪星型模式
▪星型模式的键
▪星型模式的优势
一、从需求到数据设计
►需求的定义完全驱动着数据仓库的数据设计。
▪需求定义文档
►信息包表包括:
▪商业指标
▪商业维度
▪维度内的层次结构
►信息包表是数据仓库逻辑数据设计的基础
►数据设计就是集中所有的数据结构
▪一个数据结构是由一组数据元素结合而成的。
▪逻辑数据设计包括:
►决定多种需要的数据元素以及将这些元素组合成数据结构
►数据结构之间建立关系
从需求到数据设计
1.设计决策
▪选择处理过程:
From信息包表的主题
▪选择粒度:
数据到底详细到什么程度?
▪识别维度:
From信息包表
▪选择事实
▪选择数据库的持久度:
保存多旧的历史数据?
从需求到数据设计
2.维度建模基础
▪将所需的商业维度合并到逻辑数据模型中去==》维度建模
▪信息报表是维度建模的基础:
三类数据实体
►指标或度量单位
►商业维度
►商业维度的属性
▪Example:
从需求到数据设计
►维度建模基础
▪Example:
汽车制造商的销售事实表的构成
从需求到数据设计
►维度建模基础
▪Example:
将所有的信息集成在一起,显示了如何由信息包表构造不同的维度表(就是关系、表)
从需求到数据设计
►维度建模基础
▪问题:
►这些表在维度模型中如何安排?
►他们在模型中的关系如何?
►如何标记这些关系?
►查询和分析有那些类型?
▪通过多个维度表的维度属性,查询事实表中的指标就是典型的查询与分析。
►Example:
查询2000年版本的Cherokee、在2001年1月份ABC经销商卖出的、客户已婚、并通过建行提供的三年贷款。
符合以上条件的交易有多少销售收益?
▪需要通过多个维度表中的属性分析所有这些事实。
►一个查询中会用到每个商业维度表的部分或者全部属性。
从需求到数据设计
►维度建模基础
▪这些表在维度模型中如何安排?
►模型应该为数据访问提供最好的方式
►这个模型必须以查询为中心
►它必须为查询和分析而接收优化
►模型必须显示出事实表和维度表之间的相互作用
►这个结构必须使每个维度都能有相等的机会与事实表交互
►模型应该允许沿着维度的层次结构下钻或上钻
▪分析:
将事实表放在中央,维度表安排在事实表的四周能够满足这些要求。
►事实表位于星型中央,维度表分布在星型的各个角上——星型模式
从需求到数据设计
►维度建模基础
▪汽车销售商的星型模式
从需求到数据设计
►维度建模基础
▪ER建模与维度建模的比较
►OLTP中常用ER建模
▪数据一致性、较小的冗余性
▪适用于回答交易层面上的问题
▪一个OLTP系统是通向微观交易的窗口
►DW中则采用维度建模
▪DW关注的是经理如何管理业务问题
▪DW回答全局的问题
▪反映商业趋势
▪通过几个商业维度,衡量业务情况
二、星型模式
►构建星型模式是数据仓库建模的基本数据设计技术。
星型模式
1.一个简单的星型模式的回顾
星型模式
2.维度表的内容:
维度表的集合是星型模式中的关键部分
▪维度表键:
唯一的确定表的每行
▪大量的属性:
维度表很宽
▪文本属性(很少有计算的数值数据)描述性的信息。
用户使用此描述构造他们的查询
▪非规范化:
规范化意味着更多的表,为了高效查询,查询最好直接从维度表中获得一个属性,然后直接查询事实表
▪具有上钻下钻的能力
▪多级层次结构:
满足不同用户不同的钻取结构(各部门的层次划分的不一致性)
▪更少的记录:
相对事实表而言,维度是描述、限制和约束
星型模式
3.事实表的内容
▪事实表是我们存放指标的地方
►保存级别尽可能低的细节数据
►仅包含汇总的数据:
聚集事实表
星型模式
►事实表的内容
星型模式
4.不含事实的事实表
▪
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 提纲
![提示](https://static.bdocx.com/images/bang_tan.gif)