HDFS入门优质PPT.ppt
- 文档编号:14290575
- 上传时间:2022-10-21
- 格式:PPT
- 页数:42
- 大小:2.33MB
HDFS入门优质PPT.ppt
《HDFS入门优质PPT.ppt》由会员分享,可在线阅读,更多相关《HDFS入门优质PPT.ppt(42页珍藏版)》请在冰豆网上搜索。
Cloudera是一家行业领先的Hadoop软件和服务供应商。
ClouderasDistributionforHadoop(CDH)是一个基于ApacheHadoop的综合性数据管理平台,ClouderaEnterprise则包括一些工具、平台和支持,供应生产环境中使用的Hadoop时使用。
2011年10月北京中电飞华田然,相关背景资料,Hadoop:
一个分布式系统基础架构,由Apache基金会开发。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。
充分利用集群的威力高速运算和存储。
Distributed:
分布式计算是利用互联网上的计算机的CPU的共同处理能力来解决大型计算问题的一种计算科学。
Filesystem:
文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构;
即在磁盘上组织文件的方法。
也指用于存储文件的磁盘或分区,或文件系统种类。
Hadoop的由来,Hadoop这个名字不是一个缩写,它是一个虚构的名字。
该项目的创建者,DougCutting如此解释Hadoop的得名:
这个名字是我孩子给一个棕黄色的大象样子的填充玩具命名的。
我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。
小孩子是这方面的高手。
Google就是由小孩命名的。
Hadoop和HDFS的关系,Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。
对外部客户机而言,HDFS就像一个传统的分级文件系统。
可以创建、删除、移动或重命名文件,等等。
很多时候,我们就叫它DFS(DistributedFileSystem)。
Hadoop是一个以一种可靠、高效、可伸缩的方式进行处理的,能够对大量数据进行分布式处理的系统框架。
Hadoop和HDFS的关系,HDFS是Hadoop兼容最好的标准级文件系统,因为Hadoop是一个综合性的文件系统抽象,所以HDFS不是Hadoop必需的。
所以可以理解为hadoop是一个框架,HDFS是hadoop中的一个部件。
为什么我们需要HDFS,要说明需要HDFS,首先得说明一下,为什么在计算机系统中需要文件系统。
操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。
简单的理解为,只要有文件管理,就得有文件系统。
文件系统由三部分组成:
与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。
从系统角度来看,文件系统是对文件存储器空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。
文件管理软件,文件存储结构,被管理文件,常见的有Explorer、TotalCommander,在每台存储设备里有很多被管理文件,比如通用结构,由超级块、节点、数据块、目录块、间接块组成,文件系统是用于存储文件的,但是我们发现现有的文件系统忙于处理什么文件呢?
为什么我们需要HDFS,看起来现有的磁盘能够胜任目前的数据处理,但对于我们来说有一个好消息和坏消息。
为什么我们需要HDFS,好消息是磁盘为我们存储数据,并且数据越来越大,磁盘在我们的生活中变成必需品。
坏消息是如今数据量巨大,磁盘开始很纠结的处理我们需要的海量信息。
磁盘面对的海量信息有证券交易所的每天1TB的信息;
社交网站上2PB的图片;
计算机每天产生的100GB到10TB的机器日志,缓存文件,RFID检测器等等。
1990年,一块普通磁盘存储1370MB数据,传输速度4.4MB/S,读取整个磁盘需要5min。
2011年,普及的1TB一块磁盘,其传输速度是100MB/S,读取整个磁盘需要100min左右。
既然读取一块磁盘的所有数据需要很长时间,写入更是需要更长时间(写入时间一般是读取时间的3倍)。
我们需要一个巨大文件难道得换传输速度10GB/S的磁盘(现在没有这样的磁盘),而且即使有文件为1ZB,或者小点10EB时,这样的磁盘也无法做到随读随取。
为什么我们需要HDFS,1块磁盘传输能力有限,当数据集的大小超过一台独立物理计算机的存储能力时,就有必要对它进行分区并存储到若干台单独的计算机上。
为什么我们需要HDFS,数据集,数据块,超级块,目录块,间接块,经典文件存储结构分布化概念图,从概念图上看,分布化的文件系统会因为分布后的结构不完整,导致系统复杂度加大,并且引入的网络编程,同样导致分布式文件系统更加复杂。
为什么我们需要HDFS,完整文件系统文件,分布式后,文件种类很多到底分到哪好?
文件分布处理过程丢失了怎么办?
文件分布后调用会效率很低吗?
HDFS以流处理访问模式来存储文件的。
为什么我们需要HDFS,对于以上的问题我们来HDFS是如何迎刃而解的,一次写入,多次读取。
数据源通常由源生成或从数据源直接复制而来,接着长时间在此数据集上进行各类分析,大数据不需要搬来搬去。
流处理,源文件,目的文件,源数据,分布式文件系统本地化映像,读取,读取,分析,分析,分析数据,中间数据,DFS是用流处理方式处理文件,每个文件在系统里都能找到它的本地化映像,所以对于用户来说,别管文件是什么格式的,也不用在意被分到哪里,只管从DFS里取出就可以了。
为什么我们需要HDFS,一般来说,文件处理过程中无法保证文件安全顺利到达,传统文件系统是使用本地校验方式保证数据完整,文件被散后,难道需要特意安排每个分片文件的校验码?
完整文件,经由DFS存储后,HDFS的回答是NO!
分片数量和大小是不确定的,海量的数据本来就需要海量的校验过程,分片后加入每个分片的跟踪校验完全是在数满天恒星的同时数了他们的行星。
为什么我们需要HDFS,HDFS的解决方案是分片冗余,本地校验。
完整文件,HDFS处理后,直观上看,我们是给文件系统添堵,文件越来越多,实际上,DFS更加喜欢这样的架构。
为什么我们需要HDFS,完整文件校验,经由分片存储后,每个分片文件需要分片服务器校验,数据冗余式存储,直接将多份的分片文件交给分片后的存储服务器去校验。
校验工作,冗余后的分片文件还有个额外功能,只要冗余的分片文件中有一份是完整的,经过多次协同调整后,其他分片文件也将完整。
为什么我们需要HDFS,协同校验的后完整分片文件,错误分片文件,完整分片文件,协同校验,经过协调校验,无论是传输错误,I/O错误,还是个别服务器宕机,整个系统里的文件是完整的,虽然HDFS很通用而且安全,分布后的文件系统有个无法回避的问题,因为文件不在一个磁盘导致读取访问操作的延时,这个是HDFS现在遇到的主要问题。
为什么我们需要HDFS,现阶段,HDFS的配置是按照高数据吞吐量优化的,可能会以高时间延时为代价。
但万幸的是,HDFS是具有很高弹性,可以针对具体应用再优化。
HDFS的概念,虚拟磁盘,通过上一节的得到的信息,我们了解了HDFS就是下面这个抽象图的具体实现。
解释一下,何为元数据。
HDFS的概念,元数据是用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息。
更简单的说,是关于数据的数据。
HDFS就是将巨大的数据变成大量数据的数据。
HDFS的概念,磁盘块,磁盘块,整个海量数据,元化数据块,磁盘块,磁盘块,标识后,磁盘存储文件时,是按照数据块来存储的,也就是说,数据块是磁盘的读/写最小单位。
数据块也称磁盘块。
HDFS的概念,构建于单个磁盘上的文件系统是通过磁盘块来管理文件系统,一般来说,文件系统块的大小是磁盘块的整数倍。
特别的,单个磁盘文件系统,小于磁盘块的文件会占用整个磁盘块。
磁盘块的大小一般是512字节。
在HDFS中,也有块(block)这个概念,默认为64MB,每个块作为独立的存储单元。
HDFS的概念,与其他文件系统不一样,HDFS中每个小于块大小的文件不会占据整个块的空间。
具体原因在后面的介绍。
下面介绍为什么是64MB一个文件块,为什么HDFS中的小文件不会占用整个块,而且需要64MB或者更大的一个块?
HDFS的概念,在文件系统中,系统存储文件时,需要定位该数据在磁盘中的位置,再进行传输处理。
开始定位到0x00f0000,开始定位到0x00f0820,传输数据块,定位在磁盘的位置是需要时间的,同样文件传输也是需要时间。
T(存储时间)=T(定位时间)+T(传输时间),如果每个要传输的块设置得足够大,那么从磁盘传输数据的时间可以明显大于定位这个块开始位置的时间。
HDFS的概念,T(存储时间)=T(定位时间)-+T(传输时间),T(存储时间)=T(传输时间),近似等于:
开始定位到0x00f0000,每个数据块需要时间10ms传100文件得寻址100次,数据,传输速率100MB/s,每块100MB的话,需要100s,此例子是理论数据实际比这数据稍大,我们来传输一个10000MB的文件,HDFS的概念,每块100MB的话,每个节点需要10s,传输速率100MB/s,每台需要时间10ms,每个文件寻址仍然是分别寻址需要时间和单台一样100个文件寻址需要10次加上调度需要的10ms,此例子是理论数据实际比这数据稍长,当然不是设置每个块越大越好。
HDFS提供给MapReduce数据服务,而一般来说MapReduce的Map任务通常一次处理一个块中的数据,如果任务数太少(少于集群中节点的数量),就没有发挥多节点的优势,甚至作业的运行速度就会和单节点一样。
HDFS的概念,分布式的文件抽象能够带来的优势是:
1、一个文件可以大于每个磁盘2、文件不用全在一个磁盘上。
3、简化了存储子系统的设计。
不仅如此,基于元数据块的存储方式非常适合用于备份,利用备份可提供数据容错能力和可用性。
HDFS的概念,从集群读取无论存在何处,当然,这个只是在可控制内的保证整体数据完整性,保证数据的完整性详细运作原理比这复杂。
其实,HDFS对与用户来说,可以直接看成是一个巨大的硬盘。
HDFS的概念,所以,HDFS和文件系统相似,用fsck指令可以显示块信息。
%hadoopfsck/-files-blocks,HDFS是基于主从结构(master/slaver)构件。
HDFS的关键运作机制,需要大量内存,需要大量硬盘,配置HDFS集群成本主要在内存和硬盘,在HDFS的主从结构中,有两类节点namenode和datanode。
他们以管理者-工作者模式工作。
HDFS的关键运作机制,命名空间镜像文件(永久),编辑日志文件(永久),也记录着每个文件中各个数据块所在的数据节点信息。
(临时记录,数据节点可能会重建),本地化的文件数据块,自身存储的数据块列表,子节点才是HDFS真正的存储和检索地点,如果想在主节点做整个集群数据的索引并检索的话,请考虑可行性,毕竟HDFS不擅长做巨型索引。
客户端(client)代表用户通过与namenode和datanode交互访问整个文件系统。
可以是具体程序,也可
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- HDFS 入门
![提示](https://static.bdocx.com/images/bang_tan.gif)