2Hadoop管理课案.docx

2Hadoop管理课案.docx

《2Hadoop管理课案.docx》由会员分享，可在线阅读，更多相关《2Hadoop管理课案.docx（22页珍藏版）》请在冰豆网上搜索。

2Hadoop管理课案

Hadoop管理

一、实验目的

1、熟悉Hadoop文件结构。

2、了解Hadoop集群运行状态。

3、掌握Hadoop集群管理监控管理工具。

4、掌握Hadoop日常监控维护管理的相关方法。

二、实验原理

Hadoop中的分布式文件系统HDFS由一个管理结点（NameNode）和N个数据结点（DataNode）组成，每个结点均是一台普通的计算机。

在使用上同我们熟悉的单机上的文件系统非常类似，一样可以建目录，创建，复制，删除文件，查看文件内容等。

但其底层实现上是把文件切割成Block，然后这些Block分散地存储于不同的DataNode上，每个Block还可以复制数份存储于不同的DataNode上，达到容错容灾之目的。

NameNode则是整个HDFS的核心，它通过维护一些数据结构，记录了每一个文件被切割成了多少个Block，这些Block可以从哪些DataNode中获得，各个DataNode的状态等重要信息。

MapReduce是Google公司的核心计算模型，它将复杂的运行于大规模集群上的并行计算过程高度的抽象到了两个函数，Map和Reduce,这是一个令人惊讶的简单却又威力巨大的模型。

适合用MapReduce来处理的数据集（或任务）有一个基本要求:

待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。

基于它写出来的程序能够运行在由上千台商用机器组成的大型集群上，并以一种可靠容错的方式并行处理T级别的数据集，实现了Haddoop在集群上的数据和任务的并行计算与处理。

个人认为，从HDFS（分布式文件系统）观点分析，集群中的服务器各尽其责，通力合作，共同提供了整个文件系统的服务。

从职责上集群服务器以各自任务分为namenode、datanode服务器.其中namenode为主控服务器，datanode为数据服务器。

Namenode管理所有的datanode数据存储、备份、组织记录分配逻辑上的处理。

说明白点namenode就是运筹帷幄、负责布局指挥将军，具体的存储、备份是由datanode这样的战士执行完成的。

故此很多资料将HDFS分布式文件系统的组织结构分为master（主人）和slaver（奴隶）的关系。

其实和namenode、datanode划分道理是一样的。

从MapReduce计算模型观点分析，Map/Reduce框架和分布式文件系统是运行在一组相同的节点上的，也就是说计算节点和存储节点在一起。

这种配置允许在那些已经存好数据的节点上高效的调度任务，这样可以使整个集群的网络宽带得到非常高效的利用。

另外，在Hadoop中，用于执行MapReduce任务的机器有两个角色：

JobTracker,TaskTracker。

JobTracker（一个集群中只能有一台）是用于管理和调度工作的,TaskTracker是用于执行工作的。

以上对Hadoop体系框架和相应技术做了相应分析，并从HDFS、MapReduce的角度分析了集群中的角色扮演。

对于管理Hadoop集群，维护集群的高效稳定，这些理论既是我们实验的理论基础，也是实验研究Hadoop深层次系统知识体系结构的意义所在。

三、实验内容

本实验主要是从以下四个部分，进行Hadoop管理实验。

1、HDFS目录结构认知

2、HDFS命令工具管理

3、MapReduces作业管理

4、Hadoop集群的维护

5、Ganglia集群监控工具的安装与使用

四、实验步骤

本实验以unbutu14.04,hadoop2.20集群为前提进行实验。

Hadoop集群ip及角色分配如下

10.31.44.117master（namenode）

10.31.44.200slaver1（datanode）

10.31.44.201slaver2（datanode）

第一部分：

HDFS目录结构

•无论是做为开发者还是管理员了解HDFS目录结构都是很重要的一件事情。

•它们可以帮助我们诊断问题、管理HDFS数据

•Namenode的目录结构：

${dfs.name.dir}/current/VERSION

/edits

/fsimage

Hadoop2.2.0namenode具体文件如图所示:

注：

dfs.name.dir是hdfs-site.xml里配置的目录列表。

•通过设置SencondaryNameNode可以解决editslog变大问题

•SencondaryNamenode的目录结构：

${fs.checkpoint.dir}/current/VERSION

/edits

/fsimage

/VERSION

Hadoop2.2.0datanode具体文件如图所示:

•Datanode的目录结构：

Hadoop2.2.0datanode具体文件如图所示:

对比以上效果图，对HDFS文件介绍如下：

namespaceID是文件系统的唯一标示符。

在文件系统第一次被格式化时便会创建，这个标示符也要求各DataNode节点和NameNode节点保持一致。

cTime属性表记录NameNode创建的时间，对于新格式化的存储空间，虽然这里的cTime的属性为0，但是只要文件系统被更新，就会得到一个新的时间戳。

storageType用于指出此存储目录包含一个NameNode的数据结构，在DataNode中它的属性值为DATA_NODE。

layoutVersion是一个负数，定义了HDFS持久数据结构的版本。

每次HDFS的布局发生改变，该版本号就会递减，在这种情况下，HDFS就需要更新升级，因为如果一个新的NameNode或DataNode还处在旧版本上，那么系统就无法正常运行，各节点的版本号要保持一致。

edits:

编辑日志会在客户端执行写操作时，NameNode会先在编辑日志中写下记录，并在内存中保存一个文件系统元数据，元数据会在编辑日志有所改动后进行更新。

编辑日志会在每次成功操作，成功代码尚未返回给客户端之前进行刷新和同步。

fsimage（文件系统镜像）文件是文件系统元数据的持久性检查点。

一个fsimage文件包含以序列化格式存储的文件系统目录和文件inodes。

每个inodes标示一个文件或目录的元数据信息，以及文件的副本数、修改和访问时间等信息。

SecondaryNameNode下的目录和NameNode是一致的，下面我先介绍下SecondaryNameNode的作用，你自然就了解其目录结构内容的用途了。

SecondaryNameNode的任务就是为原NameNode内存中的文件系统元数据产生检查点。

其实SecondaryNameNode是一个辅助NameNode内存中的文件系统数据产生检查点，他从NameNode中复制fsimage和编辑日志到临时目录并定期合成一个新的fsimage，随后将新的fsimage上传到NameNode,这样，NameNode便可更新fsimage并删除原来的编辑日志。

当然当NameNode发生故障时，可以直接从SecondaryNameNode中恢复，从这方面来说可以将其看成NameNode的备份。

第二部分：

HDFS命令工具管理

•HDFS文件系统检查工具FSCK

•用法：

hdfsfsck[GENERIC_OPTIONS][-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

•命令选项描述检查的起始目录。

•-move移动受损文件到/lost+found-delete删除受损文件。

•-openforwrite打印出写打开的文件。

•-files打印出正被检查的文件。

•-blocks打印出块信息报告。

•-locations打印出每个块的位置信息。

•-racks打印出data-node的网络拓扑结构。

•hdfsdfsadmin

命令选项

描述

-report

报告文件系统的基本信息和统计信息。

-refreshNodes

重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。

-finalizeUpgrade

终结HDFS的升级操作。

Datanode删除前一个版本的工作目录，之后Namenode也这样做。

这个操作完结整个升级过程。

命令选项

描述

-metasavefilename

保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的文件。

对于下面的每一项，中都会一行内容与之对应

1.Namenode收到的Datanode的心跳信号

2.等待被复制的块

3.正在被复制的块

4.等待被删除的块

-setQuota...

为每个目录设定配额。

目录配额是一个长整型整数，强制限定了目录树下的名字个数。

命令会在这个目录上工作良好，以下情况会报错：

1.N不是一个正整数，或者

2.用户不是管理员，或者

3.这个目录不存在或是文件，或者

4.目录会马上超出新设定的配额。

-upgradeProgressstatus|details|force

请求当前系统的升级状态，状态的细节，或者强制升级操作进行。

-clrQuota...

为每一个目录清除配额设定。

命令会在这个目录上工作良好，以下情况会报错：

1.这个目录不存在或是文件，或者

2.用户不是管理员。

如果目录原来没有配额不会报错。

其他常用命令

chmod

使用方法：

hadoopfs-chmod[-R]URI[URI…]

改变文件的权限。

使用-R将使改变在目录结构下递归进行。

命令的使用者必须是文件的所有者或者超级用户。

chown

使用方法：

hadoopfs-chown[-R][OWNER][:

[GROUP]]URI[URI]

改变文件的拥有者。

使用-R将使改变在目录结构下递归进行。

命令的使用者必须是超级用户。

copyFromLocal

使用方法：

hadoopfs-copyFromLocalURI

除了限定源路径是一个本地文件外，和put命令相似。

copyToLocal

使用方法：

hadoopfs-copyToLocal[-ignorecrc][-crc]URI

除了限定目标路径是一个本地文件外，和get命令类似。

cp

使用方法：

hadoopfs-cpURI[URI…]

将文件从源路径复制到目标路径。

这个命令允许有多个源路径，此时目标路径必须是一个目录。

示例：

∙hadoopfs-cp/user/hadoop/file1/user/hadoop/file2

∙hadoopfs-cp/user/hadoop/file1/user/hadoop/file2/user/hadoop/dir

get

使用方法：

hadoopfs-get[-ignorecrc][-crc]

复制文件到本地文件系统。

可用-ignorecrc选项复制CRC校验失败的文件。

使用-crc选项复制文件以及CRC信息。

示例：

∙hadoopfs-get/user/hadoop/filelocalfile

∙hadoopfs-gethdfs:

//host:

port/user/hadoop/filelocalfile

ls

使用方法：

hadoopfs-ls

如果是文件，则按照如下格式返回文件信息：

文件名<副本数>文件大小修改日期修改时间权限用户ID组ID

如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。

目录返回列表的信息如下：

目录名