《大数据导论》配套PPT 第1章 大数据概念与应用PPT资料.pptx
- 文档编号:14685904
- 上传时间:2022-10-23
- 格式:PPTX
- 页数:34
- 大小:6.66MB
《大数据导论》配套PPT 第1章 大数据概念与应用PPT资料.pptx
《《大数据导论》配套PPT 第1章 大数据概念与应用PPT资料.pptx》由会员分享,可在线阅读,更多相关《《大数据导论》配套PPT 第1章 大数据概念与应用PPT资料.pptx(34页珍藏版)》请在冰豆网上搜索。
从“数据”到“大数据”第一章大数据概念及其应用1.1大数据的概念大数据是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。
在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。
这些数据,并非公司顾客关系管理数据库的常态数据组。
什么是“大数据”第一章大数据概念及其应用大数据数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率云计算、硬件性价比的提高以及软件技术的进步智能设备、传感器的普及,推动物联网、人工智能的发展计算运行、计算速度越来越快存储存储成本下降智能实现信息对等解放脑力,机器拥有人的智慧1.1大数据的概念大数据的技术支撑第一章大数据概念及其应用1.1大数据的概念存储:
存储成本的下降云计算出现之前云计算出现之后在云计算出现之前,数据存储的成本是非常高的。
例如,公司要建设网站,需要购置和部署服务器,安排技术人员维护服务器,保证数据存储的安全性和数据传输的畅通性,还会定期清理数据,腾出空间以便存储新的数据,机房整体的人力和管理成本都很高。
云计算出现后,数据存储服务衍生出了新的商业模式,数据中心的出现降低了公司的计算和存储成本。
例如,公司现在要建设网站,不需要去购买服务器,不需要去雇用技术人员维护服务器,可以通过租用硬件设备的方式解决问题。
存储成本的下降,也改变了大家对数据的看法,更加愿意把1年、2年甚至更久远的历史数据保存下来,有了历史数据的沉淀,才可以通过对比,发现数据之间的关联和价值。
正是由于存储成本的下降,才能为大数据搭建最好的基础设施。
第一章大数据概念及其应用1.1大数据的概念计算:
运算速度越来越快l分布式系统基础架构Hadoop的出现,为大数据带来了新的曙光;
lHDFS为海量的数据提供了存储;
lMapReduce则为海量的数据提供了并行计算,从而大大提高了计算效率;
lSpark、Storm、Impala等各种各样的技术进入人们的视野。
海量数据从原始数据源到产生价值,期间会经过存储、清洗、挖掘、分析等多个环节,如果计算速度不够快,很多事情是无法实现的。
所以,在大数据的发展过程中,计算速度是非常关键的因素。
第一章大数据概念及其应用1.1大数据的概念智能:
机器拥有理解数据的能力大数据带来的最大价值就是“智慧”,大数据让机器变得有智慧,同时人工智能进一步提升了处理和理解数据的能力。
例如:
谷歌AlphaGo大胜世界围棋冠军李世石阿里云小Ai成功预测出我是歌手的总决赛歌王12iPhone上智能化语音机器人Siri微信上与大家聊天的微软小冰34第一章大数据概念及其应用第一章大数据概念及其应用美国著名管理学家爱德华戴明所言:
“我们信靠上帝。
除了上帝,任何人都必须用数据来说话。
”
(1)有数据可说在大数据时代,“万物皆数”,“量化一切”,“一切都将被数据化”。
人类生活在一个海量、动态、多样的数据世界中,数据无处不在、无时不有、无人不用,数据就像阳光、空气、水分一样常见,好比放大镜、望远镜、显微镜那般重要。
(2)说数据可靠大数据中的“数据”真实可靠,它实质上是表征事物现象的一种符号语言和逻辑关系,其可靠性的数理哲学基础是世界同构原理。
世界具有物质统一性,统一的世界中的一切事物都存在着时空一致性的同构关系。
这意味着任何事物的属性和规律,只要通过适当编码,均可以通过统一的数字信号表达出来。
1.1大数据的概念大数据的意义因此,“用数据说话”、“让数据发声”,已成为人类认知世界的一种全新方法。
1.1大数据的概念风马牛可相及在大数据背景下,因海量无限、包罗万象的数据存在,让许多看似毫不相干的现象之间发生一定的关联,使人们能够更简捷、更清晰地认知事物和把握局势。
大数据的巨大潜能与作用现在难以进行估量,但揭示事物的相关关系无疑是其真正的价值所在。
经典案例:
(1)啤酒与尿布
(2)谷歌与流感第一章大数据概念及其应用第一章大数据概念与应用1.1大数据的概念1.2大数据的来源1.3大数据的特征及意义1.4大数据的表现形态1.5大数据的应用场景习题大数据应用人才培养系列教材1.2大数据的来源全球数据总量图杰姆格雷(JimGray)提出著名的“新摩尔定律”,即人类有史以来的数据总量,每过18个月就会翻一番。
20042005200620072008200920102011201520200500010000150002000025000300003500040000305016128054080012001800790035000(EB)(年份)第一章大数据概念及其应用为什么全球数据量增长如此之快?
1.2大数据的来源手机智能家电智能手表电脑iPad大数据的主要来源第一章大数据概念及其应用1.2大数据的来源互联网每天产生的全部内容可以刻满6.4亿张DVDGoogle每天需要处理24PB的数据网民每天在Facebook上要花费234亿分钟,被移动互联网使用者发送和接收的数据高达44PB全球每秒发送290万封电子邮件,一分钟读一篇的话,足够一个人昼夜不停地读5.5年每天会有2.88万个小时的视频上传到YouTube,足够一个人昼夜不停地观看3.3年Twitter上每天发布5000万条消息,假设10秒就浏览一条消息,足够一个人昼夜不停地浏览16年大数据到底有多大?
以上一组互联网数据第一章大数据概念及其应用1.2大数据的来源来自大量传感器的机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据海量的数据的产生随着人类活动的进一步扩展,数据规模会急剧膨胀,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大,数据类型也越来越多、越来越复杂,已经超越了传统数据管理系统、处理模式的能力范围,于是“大数据”这样一个概念才会应运而生。
第一章大数据概念及其应用1.2大数据的来源按产生数据的主体划分1)少量企业应用产生的数据如关系型数据库中的数据和数据仓库中的数据等。
2)大量人产生的数据如推特、微博、通信软件、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据等。
3)巨量机器产生的数据如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码(条码)扫描数据等。
01第一章大数据概念及其应用1.2大数据的来源按数据来源的行业划分1)以BAT为代表的互联网公司百度公司数据总量超过了千PB级别,阿里巴巴公司保存的数据量超过了百PB级别,拥有90%以上的电商数据,腾讯公司总存储数据量经压缩处理以后仍然超过了百PB级别,数据量月增加达到10%。
2)电信、金融、保险、电力、石化系统电信行业数据年度用户数据增长超过10%,金融每年产生的数据超过数十PB,保险系统的数据量也超过了PB级别,电力与石化方面,仅国家电网采集获得的数据总量就达到了数十PB,石油化工领域每年产生和保存下来的数据量也将近百PB级别。
3)公共安全、医疗、交通领域一个中、大型城市,一个月的交通卡口记录数可以达到3亿条;
整个医疗卫生行业一年能够保存下来的数据就可达到数百PB级别;
航班往返一次产生的数据就达到TB级别;
列车、水陆路运输产生的各种视频、文本类数据,每年保存下来的也达到数十PB。
024)气象、地理、政务等领域中国气象局保存的数据将近10PB,每年约增数百TB;
各种地图和地理位置信息每年约数十PB;
政务数据则涵盖了旅游、教育、交通、医疗等多个门类,且多为结构化数据。
5)制造业和其他传统行业制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。
其中产品设计数据以文件为主,非结构化,共享要求较高,保存时间较长;
企业生产环节的业务数据主要是数据库结构化数据,而生产监控数据则数据量非常大。
在其他传统行业,虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增,但是数据量还处于积累期,整体体量都不算大,多则达到PB级别,少则数十TB或数百TB级别。
第一章大数据概念及其应用1.2大数据的来源按数据存储的形式划分大数据不仅仅体现在数据量大,还体现在数据类型多。
如此海量的数据中,仅有20%左右属于结构化的数据,80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。
结构化数据简单来说就是数据库,如企业ERP、财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其他核心数据库等数据。
非结构化数据包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等数据。
03第一章大数据概念及其应用1.2大数据的来源常用的大数据获取途径11)系统日志采集)系统日志采集可以使用海量数据采集工具,用于系统日志采集,如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等,这些工具均采用分布式架构,能满足大数据的日志数据采集和传输需求。
0433)APPAPP移动端数据采集移动端数据采集APP是获取用户移动端数据的一种有效方法,APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器,即便用户在没有访问时,也能获知用户终端的相关信息,包括安装应用的数量和类型等。
单个APP用户规模有限,数据量有限;
但数十万APP用户,获取的用户终端数据和部分行为数据也会达到数亿的量级。
44)与数据服务机构进行合作)与数据服务机构进行合作数据服务机构通常具备规范的数据共享和交易渠道,人们可以在平台上快速、明确地获取自己所需要的数据。
而对于企业生产经营数据或学科研究数据等保密性要求较高的数据,也可以通过与企业或研究机构合作,使用特定系统接口等相关方式采集数据。
22)互联网数据采集)互联网数据采集通过网络爬虫或网站公开API等方式从网站上获取数据信息,该方法可以数据从网页中抽取出来,将其存储为统一的本地数据文件,它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。
除了网站中包含的内容之外,还可以使用DPI或DFI等带宽管理技术实现对网络流量的采集。
第一章大数据概念及其应用第一章大数据概念与应用1.1大数据的概念1.2大数据的来源1.3大数据的特征及意义1.4大数据的表现形态1.5大数据的应用场景习题大数据应用人才培养系列教材1.3大数据的特征及意义大数据是数据分析的前沿技术。
从各种各样类型的数据中,快速高效获得有价值信息的能力,就是大数据技术。
在IT业界有的学者使用3S来描述大数据,还有的学者使用3I来描述大数据。
大数据的3S第一章大数据概念及其应用数据的大小数据的处理速度SizeSpeed数据的结构化Structur1.3大数据的特征及意义从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。
大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。
它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。
(在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代中大数据指不用随机分析法(抽样调查)这样的捷
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大数据导论 大数据导论配套PPT 第1章 大数据概念与应用 数据 导论 配套 PPT 概念 应用
![提示](https://static.bdocx.com/images/bang_tan.gif)