大数据时代 第三章.docx
- 文档编号:23200146
- 上传时间:2023-05-15
- 格式:DOCX
- 页数:26
- 大小:42.54KB
大数据时代 第三章.docx
《大数据时代 第三章.docx》由会员分享,可在线阅读,更多相关《大数据时代 第三章.docx(26页珍藏版)》请在冰豆网上搜索。
大数据时代第三章
第·节大数据的采集技术大数据采集技术是进行数据存储,预处理和挖掘的基础,传统的数据采集技术主要包括普查,抽样调查和统计报表等;随着网络的发展,网络数据已经成为大数据的重要来源,网络数据的采集技术主要有网络爬虫A門接口和传感器等普查普查是为了某种特定的目的而专门组织的―次性的全面调查,它可以调查―定时点上的社会经济现象的总量,吧以调查某些时期现象的总量,甚至调查一些并非总量的指标,普查―般,涉及面广、指标多、工作量我们的大数据大、时间性强。
为了取得准确的调查资料,普查对集中领导和统一行动有很高的要求。
普查的方式有两种.一种是建立专门的普查机构,聘请或者雇佣专业的普查人员进行实地调查,另一种是调查有关单位的原始记录和材料,根据原始记录归纳整理出要了解的数据。
无论采用哪种方式,普查通常是周期性的或者是一次性的,往往有统一的时间点。
例如,人口普查使用统表格、统一方法,在规定的时间对全国人口进行普遍调查登记。
普查的优点在于数据严谨,资料全面,可以根据不同需求了解到调对象的全部情况,准确度高,而且确定对象比较简单。
而普查最显著的查缺和点在于普查的普遍性会导致工作量较大,导致调查内容有限、产生重复遗漏的现象。
二、抽样调查抽样调查部分对象进行调查并据此对全部调查对象做出估计和推断的一种调查赞:
抽样调查虽然是非全面调查,但它的目的却在于取得反映总体情况的信息资料抽样调查的样本抽取。
·)抽样调查的样本抽取:
从样本抽取角度来看,抽样调查可以分为简单随机抽样、系统抽样和分层抽样等。
简单随机抽样,是从总体N个对象中任意抽取n个对象作为樊:
最终以这些样本作为调查对象,其中,在抽取样本时,总体中每个对象被抽中为调查样本的概率是相同的系统抽样,是首先将所有对象分成均衡的几个部分,然后按照预先定出的规则,从每—部分中抽取一个对象,这些被抽取出的对象构成了调查样本分层抽样,是将所有对象分成互不交叉的类别或层次,然后按照一定的比例,从各类别或层次中独立地抽取一定数量的对象,最后将这些被扣取出来的对象合在一起作为调查样本。
仁)抽样调查的调查方式:
从调查方式角度看,抽样调查的方式很多,主要包括问卷调查法、访谈法、观察法和实验法等。
问卷调查法,是向被调查者发出简明扼要的征询表单(表)请被调查者填写对有关问题的意见和建议,从而达到数据采集的目的访谈法,是通过访谈员和受访人面对面交谈来采集相关数据的方法。
按照同时受访的人数不同,访谈法可分为个人访谈和团体访谈,个人访谈是一对一的访谈,团体访谈又称座谈会,是指将若干访谈对象召集在一起同时进行访谈,通常以5~7人为宜,观察法,是由调查者直接或利用仪器来观察、记录被访者的行为、活动、反应、感受或现场事物,以获取数据的方法。
按照调查者是否参与调查对象的活动,观察法可分为参与观察和非参与观察。
参与观察是调查者作为活动的一员,在参与调查活动同时进行观察,从而系统地收集数据的方法。
非参与观察是调查者以旁观者的身份对调查对象进行的观察以便比较客观地获得观察数据的方法。
实验法,是从自然科学的实验室试验法借鉴而来的,它是指在既定条件下通过有目的、有意识地改变某些环境变量或参数,获得被实验对象在环境改变时的活动变化从而发现实验对象活动变化的因果关系的方:
法。
从本质上说,实验法是一种特殊的调查与观察法,因为任何一项实验数据的获得都需要进行调查和观察,但是,与一般的调查和观察不同,实验法是在控制环境的前提下进行调查和观察的。
总而言之,抽样调查方法的优点在于容易操作,适用面广,经济性强,可以仅仅根据少量信息推断出全局信息。
抽样调查方法的缺点在于误差不易被控制,需要依赖较好的样本,并且测评结果往往不够稳定。
三、统计报表统计报表是按统一规定的表格形式、统一的报送程序和报表时间自下而上提供基础统计数据的方法。
按照调查范围不同,统计报表可分为全面统计报表和非全面统计报表。
全面统计报表是指每个调查对象都要填写报表。
非全面统计报表则是只有部分调查对象填写报表。
按照报送周期不同,统报表可分为日报周报、旬报、月报、季报、半年报和年报;统计报表一般分为两个步骤;第一步,由主管部门根据相关法律法规和实际统计需求,制定统计表并通过管理系统下发给调查对象;第二步;调查对象按统计报表的填写要求提供基本统计数据经认真核对后上报对于一些复杂数据或精度要求较高的数据,可能需要层层汇总核对并逐级上报统计报表是一种自上而下布置,自下而上填报的数据采集技术,因此的大、时间性强,为了取得准确的调查资料,普查对集‘中领导和统一行动有很高的要求普查的方式有两种,·种是建立专门的普查机构,聘请或者雇佣专业的普查人员进行实地调查,另―种是调查有关单位的原始记录和材料,根:
原始记录归纳整理出要了解的数据,无论采用哪种方式,普查通常是周期性的或者是·次性的往往有统·的时间点,例如,人口普查使用统表格`统―方法,在规定的时间对全国人口进行普遍调查登记:
普查的优点在于数据严谨,资料全面,可以根据不同需求了解到调查对象的全部情况,准确度高,而且确定对象比较简单,而普查最显著的:
点在于普查的普遍性会导致工作量较大,导致调查内容有限,产生重复和:
遗漏的现象。
二抽样调查抽样调查是一种非全面调查,它是从全部调查研究对象中抽选一部分对象进行调查,并据此对全部调查对象做出估计和推断的一种调查方法抽样调查虽然是非全面调查,但它的目的却在于取得反映总体情况的信息资料←)抽样调查的样本抽取从样本抽取角度来看,抽样调查可以分为简单随机抽样、系统抽样和分层抽样等。
简单随机抽样,是从总体N个对象中任意抽取n个对象作为样本!
最终以这些样本作为调查对象,其中,在抽取样本时:
抽中为调查样本的概率是相同的时,总体中每个对象被:
愁抽样,是首先将所有对象分成均衡的几个部分,然后按照预先定出的规则,从每一部分中抽取一个对象,这些被抽取出的对查样本象构成了调分层抽样,是将所有对象分成互不交叉的类别或层次,然后按照—的比例,从各类别或层次中独立地抽取一定数量的对象,最后将这些制调定抽取出来的对象合在一起作为调查样本。
(二)抽样调查的调查方式谈法、观察法和实验法等:
解柔瓢熙&抽样调查的狱很多主要包括问卷调查法,访C卷调查法,是向被调查者发出简明扼要的征询表单,成(表)请被调查者填写对有关问题的意见和建议,从而达到数据采集的目的访谈法,是通过访谈员和受访人面对面交谈来采集相关数据的方法。
按照同时受访的人数不同,访谈法可分为个人访谈和团体访谈,个人访谈是一对一的访谈,团体访谈又称座谈会,是指将若干访谈对象召集在一起同时进行访谈,通常以5~7人为宜观察法,是由调查者直接或利用仪器来观察记录被访访者的行为、活动、反应、感受或现场事物,以获取数据的方法。
按照调查者是否参与调查对象的活动,观察法可分为参与观察和非参与观察。
参与观察是调查者作为活动的一员,在参与调查活动同时进行观察,从而系统地收集数据的方法非参与观察是调查者以旁观者的身份对调查对象进行的观察,以便比较客观地获得观察数据的方法。
实验法,是从自然科学的实验室试验法借鉴而来的,它是指在既定条件下,通过有目的、有意识地改变某些环境变量或参数,获得被实验对象在环境改变时的活动变化,从而发现实验对象活动变化的因果关系的方法从本质上说,实验法是一种特殊的调查与观察法,因为任何一项实验数据的获得都需要进行调查和观察,但是,与一般的调查和观察不同,实验法是在控制环境的前提下进行调查和观察的。
总而言之,抽样调查方法的优点在于容易操作,适用面广,经济性强,可以仅仅根据少量信息推断出全局信息。
抽样调查方法的缺点在于误差不易被控制,需要依赖较好的样本,并且测评结果往往不够稳定。
三、统计报表统计报表是按统一规定的表格形式、统—的报送程序和报表时间自下而上提供基础统计数据的方法。
按照调查范围不同,统计报表可分为广为全面统计报表和非全面统计报表。
全面统计报表是指每个调查对象都要填写报表。
非全面统计报表则是只有部分调查对象填写报表。
按照报送周期不同,统计报表可分为日报周报、旬报、月报、季报、半年报和年报统计报表一般分为两个步骤:
第一步,由主管部门根据相关法律法规和实际统懦求,制定统计表并通过管理系统下发给调查对象;第二步:
调查对象按统计报表的填写要求提供基本统计数据经认真核对后上报对于一些复杂数据或精度要求较高的数据可能需要层层汇总核对并逐级上报,统计报表是一种自上而下布置,自下而上填报的数据采集技术,因此与其他技术相比有独特的优势。
首先,统计报表是对调查对象的实际情况进行的基本数据采集,统计口径.统计范围等具有统一性,对数据的准确性也有严格的要求,因而数据可靠;其次,统计报表以行政命令为后盾,有严格的上报程序,具有百分之百的回收率;最后,统计报表中要填报的项目和指标具有相对的稳定性.可以形成时间序列数据,有助于进行历史:
对比和变化规律的系统分析。
四、网络爬虫网络爬虫又称网络蜘蛛、网络机器人,是一种按照一定的规则,自动抓取Web信息的程序或者脚本,其主要功能是访问网站、下载网站的免费内容,如网页、图像、音视频文件等。
(·网络爬虫的工作原理网络爬虫从起始网页开始,沿着该网页中包含的链接地址(即URL;UmhrrR1…m)不断从一个网页移动到另外一个网页,从而达到遍历互联网的目的。
具体地说,网络爬虫的工作原理是从—个或若干个初始网页的U旺开始,获得初始网页上所包含的U叫列表,并将这些URL作为继续爬行的依据;在抓取网页过程中,网络爬虫不断从当前网页上抽取新的UH,并继续爬行至这些URL指向的网页,直到满足预定的停止条件。
图3·所示为网络爬虫的基本工作原理通过图3一可以看出,网络爬虫的工作基本流程如下:
①根据需要精心挑选一部分U叫,作为种子[Rl②将这些uH放入待抓取uRL队列。
③从待抓取u旺队列中取出一个uN,将该uRL对应的网页下载下来,存储进已下载网页库中,并将该uRL从待抓取队列移至已抓取u豇队列中;判断是否满足了抓取结束条件,如已经达到要采集的网页数量要求等,若达到了抓取结束条件,抓取结束,否则继续下一步骤。
④分析步骤③中下载的网页,从中解析所包含的u哑,判断解析出来的UH是否存在于已抓取URL队列内,对于已抓取UH队列中不存在的URL,执行步骤②仁)网络爬虫的爬行策略爬行策略是指网络爬虫使用待抓取URI队列中UH的规则,其决定了网络爬虫使用众多待抓取的UH的次序。
常见的爬行策略有深度优先遍历策略、广度优先遍历策略、反向链接策略和大站优先策略等,其中以深度优先遍历策略和·度优先遍历策略最为基础。
此处重点以图3·2为例,介绍深度优先遍历策略和广度优先遍历策略。
UH指向的网页。
如此―个链接接着一个链接地抓取下去,直到处理完一条路线之后再返回到上层的未爬行过的U叫,进行同样的处理。
以图3一为例,首先处理网页A,此时会发现B、1、E三个链接,假定选择了网页B继续访问,处理网页B之后,会找到网页C、D,假定继续处理网页c,会找到网页F、G,假定选择F继续访问,由于网页F中不再包含其他链接,则返回至网页C,看它是否存在未处理的下一层网页,若有进行处理,这时只有网页G未被抓取,因此处理完网页G,此后,再次返回上一层网页C,此时网页C中没有未处理网页链接,则返回上一层网页B,网页B所包含的链接D未处理,网络爬虫抓取网页D,以此类推,得到的一种网页爬行序列为ABCFGDJHIEK,其他爬行序列REHABDHJCGEEKlimaIEKBCFGDJHSSo深度优先策略设计较为简单,其目标是尽快抓取到末端网页,因而,对级别较深的网页来说,抓取效率并不高。
对抓取深度的限制和选择是该种策略的关键。
2.广度优先遍历策略广度优先遍历(Bm山―Fh)策略又称宽度优先遍历策略,是指在抓取过程中,只有将当前同层次网页全部处理完毕之后:
李行下―层次的网页爬行。
以图3―2为例,先访问第一层网页A:
其次访问其第二层网页B、LE,之后访问其第三层网页C、D,K,再访问第四层网页FGJ、H,直到没有下―层网页为止,因此,一种可能的的网页爬行序列为ABleCDKFGJHo其他网页爬行序列还有ABEIDCKJHcfmaEIBKDCHICfgsb般情况下如果两个网页有链接关系,则两个网页的关系会比较密切,广度优先遍历策略可以比较快地抓取到这样的网页,这是广度优先遍历策略的优势,但是,该策略的不足在于抓取末端网页的时间开销比较五、AP接囗AP即应用程序编程接口(ApphC山e)是预先将常用的某些功能封装成对应的程序模块,这此程序模块屏蔽了实现某些功能的代码细节,但可以接受这些功能在执行过程中需要的数据并:
能返回相应的结果,程序设计人员只要根据这些程序模块的要求,问其传递合法的数据,就可以使用这些功能,从而免去了重复编码的麻烦简化了程序设计人员与计算机硬件及操作系统相交互的过程.大大提高了开发应用系统的效率。
常见的AP接口包括系统调用AP、QL查询语言AH、信息通信AP、远程过程调用AP等。
系统调用AP是操作系统提供的用于调用系统资源的AP,通过系统调用APL程序开发人员可以访问系统资源,如获取系统当前时间、管理磁盘间、进行内存分配等。
不同操作系统提供的AP名称和功能有可能不同,但其主要目的都是方便应用程序与操作系统的交互。
SQL查询语言也简称¥QL,是¥mCmndQU的Unpage(结构化查询语言)的缩写,它是专门为关系数据库而设计的数据操作语言,目前几乎所有的关系数据库如Oracle`SQLServer`Sybase`db2M巧QL等都支持SQLsQL查询语言AP就是这些标准关系数据库提供给应用程序开发人员的一组程序接口,应用程序开发者和数据库使用者可以通过标准SQL查询AP对数据库进行操作,包括定义数据库的逻辑结构、进行数据查询和数据增删改,以及访问控制、数据完整性约束和事务处理等操作。
信息通信AP是用于进程之间或者计算机之间通信的程序接口通过:
信息通信AP,进程与进程之间或者计算机与计算机之间可以实现数据共:
享例如,为了使h阳设备能够集成在蓝牙环境中并在]m平台上开发支持蓝牙技术的软件,JCP(hVacnityPJaa社区进程个开放的国际组织)定义了JSR82规范。
太阳微系统公司(5后被甲骨文公司收购)实现了符合JSR距规范的AP接口,该A[包用于实现无线环境下的对象交换协议。
通过在应用程序中调用这两个包中的hVa类或Jma接口,带有蓝牙设备的通信工具可以实现远程设备或服务的发现、设备或服务的管理以及设备或服务之间的通信。
远程过程调用(R比,RmOGPOedmcm)是指在网络环境下一台计算机上运行的程序调用另一台计算机上的程序,被调用的程序运行后,将运算的结果通过网络返回给发起调用的程序。
远程过程调用AP的目的是简化远程过程调用的实现过程,使程序设计人员能够像本地过程调用那样进行远程系统上的过程调用,而无须再做额外的编程。
远程过程调用AP的一个典型实例是谷歌AP,例如,谷歌地图提供了地图服务APC吧eMA图APD,通过该屁1可以调用谷歌地图的相关功能,将谷歌地图嵌入到本地程序中。
六、传感器传感器(r)是一种常见的重要电子器件,它是一种能够检测到特定的数据并能将这些数据按一定规律转换成其他形式可用信号的装:
置,目前在国内许多公共场所使用的自动水龙头,就是传感器的―个典型应用,这种水龙头m安装有红外传感器当人手放到水龙头出水口下方时,传感器检测到人手的存在并将这―信号转换成电信号,发送给电磁开关,使水龙头出水,当人手离开水龙头后,传感器就会控制电磁开关关闭,使水龙头停水,传感器一般由敏感元件转换元件信号调节与转换电路三部分组成,其中,敏感元件用于检测要传感的对象,将检测到的结果转化成与检测结果有特定关系且能够很容易转换成电信号的物理量,并将该物理量输出给转换元件,转换元件接受来自敏感元件的输出,将其转换成电信号,输出给信号调节与转换电路,信号调节与转换电路则把接收到的电信号转换为便于显示`记录,处理或控制的有用电信号,当然,并不是所有传感器都由这三部分组成的,例如,电网试敏感元件可以直接输出电信号,在使用这种敏感元件的传感器‘中,就无须再有专门的转换元件,传感器可以从不同的角度来分类,常见的分类标准有感知原理感知:
对象制造材料、输出信号形式等。
对象、制造材料、输出信号形式等。
按感知原理分类,传感器可分为物理传感器、化学传感器和生物传感器。
物理传感器是根据力、热、光电.磁和声等物理效应而设计制造的传感器。
化学传感器是根据化学吸附、电化学反应原理而设计制造的传感器。
生物传感器是根据酶抗体、激素的特性等而设计制造的传感器。
按感知对象分类,传感器可分为热敏传感器、光敏传感器、气敏传感器、力敏传感器、磁敏元件、湿敏传感器、声敏传感器、放射线传感器色敏传感器和味敏传感器等,这些传感器可以分别测量不同的对象。
按制造材料分类,传感器可分为半导体传感器、陶瓷传感器等。
这里所说的制造材料,主要是指制造传感器中敏感元件的材料。
按输出信号形式分类,传感器可分为模拟传感器、数字传感器、膺数字传感器以及开关传感器等。
模拟传感器的最终输出是模拟电信号。
数字传感器的最终输出是数字信号。
膺数字传感器的最终输出是频率信号或其他周期信号。
开关传感器的最终输出是一个高电平信号或低电平信号。
传感器在社会生产和社会生活中有广泛应用,工业制造、农业生产航空航天、海洋探测、医疗卫生、生物工程、环境保护等各个方面都离不开传感器。
传感器产生的数据是大数据的重要组成部分。
以智能健康手环为例,随着时代的发展,人们越来越关注自身的健康,整合了传感器技术的智能健康手环,是大数据技术在实时健康监测方面的一项重要应用,其功能包括查看运动量、监测睡眠质量、智能闹钟唤醒等,并且可以通过手机应用实时查看运动量,监测走路和跑步的效果,还可以通过云端识别更多的项目,能够自动判断是否进入睡眠状态,分别记录深睡、浅睡并汇总睡眠时间,帮助用户监测自己的睡眠质量。
第二节大数据的存储技术如何存储规模庞大、类型繁多、结构各异的大数据,是大数据技术要解决的重要问题。
就数据存储而言,一方面传统的关系数据库在金融、互联网等领域仍然发挥着巨大作用;另一方面非关系数据库以其易扩展性高并发性等特点正逐渐占有越来越重要的地位。
本节主要介绍数据存储中关系数据库、数据仓库和分布式存储的相关概念关系数据库关系数据库是现实生活中最为常见的数据库类型,在各个领域有广泛:
应用。
关系数据库(Remonalda),是建立在关系模型基础上的数据库,借助于集合代数等概念和方法处理数据库中的数据。
关系模型(Rhnmmm)是基于谓词逻辑和集合论,用二维表的形式表示实体和实体间联系的数据模型。
关系数据库采用标准的QL语言,包含数据定义语言、数据操纵语言、数据控制语言、交易控制语言等。
在数据库设计领域,经常使用实体—关系图(刚iyRa叫0时ipD简称ER图来描述现实世界的概念模型。
ER图的三要素是实体类型属性和联系。
在实际设计过程中,使用矩形框表示实体,菱形框表示联系,椭圆形框表示实体和联系的属性,其中联系又可以分为一对一的关系一对多的关系以及多对多的关系三种情况·)关系模型的三要素关系模型由关系数据吉构、关系操作集合、关系完整性约束三部分组成。
关系模型的数据结构是行和列组成的数据集合,一个数据阵包或者多个表。
一般而言,关系数据结构由关系、元组属性组成个关系对应一张二维表格。
表中的一行称为一个元组也叫记录。
表中的一列称为属性,列名为属性名。
常用的关系操作包括数据查询和数据操作,其中数据查询包含选择投影连接、并、交、差、除等操作,数据操作包含增加、删除、修改。
关系数据库通过QL语句对数据库进行上述操作。
在数据操作中,为了保证数据管理系统正确可靠数据操作必须满足原子性一致性隔离性:
和持久性。
原子性是指一个操作过程要么完全执行,要么完全不执行,不存在中间状态,如果某个操作执行一半就被中断,则需要进行回滚操作(ROUhck)使数据恢复到该操作开始之前的状态。
一致性是指事务开始之前和事务结束之后,数据库的完整性没有破坏。
隔离性是指当两个或者多个事务同时访问数据库(数据查询或者数据操作)时,保证数据一致和完整,也就是说,在一个事务对数据库进行访问的过程中,其操作不受其他事务的影响持久性是指任何对数据库的操作结束之后,数据会永久保存在数据库中,关系完整性约束包含实体完整性.参照完整性、用户定义完整性。
其中实体完整性指表中行的完整性,要求表中的所有行都有唯一的标识,称为主键。
主键是否可以修改,或整个列是否可以被删除,取决于主键与其他表之间要求的完整性。
如在学生表(学号、姓名、年龄)中学号不能取空值(NoTNuU)成绩表(学号、课程号、成绩)中学号和课程号都不能取空值。
参照完整性要求关系中不允许引用不存在的实体例如,在学生表和成绩表之间用学号进行关联,如果学生表是主表,成绩表是从表,当向成绩表插入一条新纪录时,如果主表中没有插:
入的学号,则应拒绝执行该插入操作,如果有学号,则可以向成绩表中,插入数据。
用户定义完整性是指数据应满足用户定义的数据属性的约束条件和语义要求。
比如在成绩表中,成绩的取值范围在0~00之间:
当用户输入的值超过或者低于这个范围时,则应拒绝接受。
仁)关系数据库管理系统数据库管理系统(D证ntSStm)是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库,简称DBM5。
大部分DBMSbeerKYARALxianDDL(DataDefinitionLa唧啷)和数据操作语言DML(DamaManipulationLa驴)可以用来定义数据库的模式结构与权的限约束,实现对数据的追加、删除等操作。
关系数据库管理系统是在关系模型的基础上实现的数据管理软件。
数据库管理系统分为物理层、概念层和用户层三个层次。
物理层是数据库的最内层,代表物理层面上存储数据的集合。
概念层是中间层,定义了数据之间的逻辑关系,是数据库管理员概念下的数据库。
用户层是用户所看到和使用的数据库,代表一个或一些特定用户使用的数据集合,即逻辑记录的集合。
数据库不同层次之间的联系是通过映射进:
行转换的。
常关系数据库的优点在于逻辑结构简单,符合现实生活中对数据的认知,由于数据是以表格的形式存储,因此易于理解和应用。
数据仓库:
数据仓库(Dmwar叫肥)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,它可以用于支持管理决策。
数据仓库为数据分析提供了一种更优化的技术架构。
由于其采用多维数据模型并能支持联机分析处理,因此,在数据挖掘中有广泛应用。
)数据仓库的特点和传统的数据库不同,数据仓库有以下几个特点:
第一,数据仓库面向主题。
主题是指用户使用数据仓库进行分析决策:
时所关心的重点方面,一个主题通常与多个操作型信息系统相关。
数据仓库中的数据通常按照一定的主题域进行组织·以所代表的业务内容(即主题)进行划分,每个主题都对应着一个宏观的分析领第二,数据仓库具有集成性。
尽管原始来源可能不同,但数据仓库中的数据是在对原有分散的数据清理归纳的基础上:
经过系统加工、汇总而盟翻葛篇删的嵌据的不二m·新娜仓库内的信息是一致的全局信息第三,数据仓库以只读方式存储即使发现数据错误,一旦确认写入后是不会被取代或删除的。
另外,数战据仓库主要是为决策分析提供数据,所涉及的操作主要是数据查询第四,数据仓库具有随时间变化的特性。
数据仓库中的数据通常包含历史信息,系统记录了用户和企业从过去从过去某一个时间到当前各个阶段的信息,通过这些信息,可以对未来的发展做出相关判断和预测。
6此外,数据仓库还有大容量、效率高、扩展性强等特点。
仁)数据仓库的实施步骤数据仓库的实施主要分为以下几个步骤:
第一步,收集业务需求,确定主题。
通过与业务部门充分交流,了解:
建立数据仓库所要解决问题的真正含义,确定各个主题下的查询分析要第二步,确定数据模型和数据库业务平台。
一般情况下,需要考虑的影响因素主要包括数据量大小对管理、处理的要求,进出数据仓库的数据通信量,数据模型本身对要解决问题的适应性,对数据仓库实施的时间要求等第三步,建立数据仓库的逻辑模型。
主要工作包括:
分析E题域,确定当前要装载的主题;确定数据粒度的层次划分;确定数据的分割策略:
定义关系模式等。
第四步,在逻辑模型基础上构建数据仓库。
将数据装入到数据仓库:
中,并且在其上建立数据仓库的应用。
在这个过程中]要考虑的问
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大数据时代 第三章 数据 时代 第三
![提示](https://static.bdocx.com/images/bang_tan.gif)