Hadoop241安装手册.docx

Hadoop241安装手册.docx

《Hadoop241安装手册.docx》由会员分享，可在线阅读，更多相关《Hadoop241安装手册.docx（12页珍藏版）》请在冰豆网上搜索。

Hadoop241安装手册

Hadoop2.4.1安装手册

2014.08.01

一．安装设备

类别

10.0.70.5

10.0.70.6

10.0.70.7

设备名称

A04-05

A04-06

A04-07

用途

NameNode

DataNode

DataNode

主副设备

Master

Slave

Slave

用户组

hadoop

hadoop

hadoop

用户名

hadoop

hadoop

hadoop

密码

hadoop1234

hadoop1234

hadoop1234

操作系统

CentOSrelease6.4

CentOSrelease6.4

CentOSrelease6.4

Java版本

jdk1.7.0_65

jdk1.7.0_65

jdk1.7.0_65

Hadoop安装目录

/home/Hadoop/hd_home

/home/Hadoop/hd_home

/home/Hadoop/hd_home

二．创建用户组与用户名

[root@A04-05opt]#useraddhadoop–增加用户

[root@A04-05opt]#passwdHadoop–设置用户密码

Changingpasswordforuserhadoop.

Newpassword:

BADPASSWORD:

itistoosimplistic/systematic

Retypenewpassword:

passwd:

allauthenticationtokensupdatedsuccessfully.

[root@A04-05opt]#idHadoop–查看用户信息

uid=500（hadoop）gid=501（hadoop）groups=501（hadoop）

三．关闭防火墙（在启动前关闭集群中所有机器的防火墙，不然会出现datanode开后又自动关闭。

）

[root@A04-05opt]#chkconfig--listiptables–关闭前查看防火墙情况

iptables0:

off1:

off2:

on3:

on4:

on5:

on6:

off

[root@A04-05opt]#chkconfigiptablesoff–关闭防火墙

[root@A04-05opt]#chkconfig--listiptables

iptables0:

off1:

off2:

off3:

off4:

off5:

off6:

off

四．配置IP与HostName的映射关系

Vi/etc/hosts

10.0.70.5A04-05

10.0.70.6A04-06

10.0.70.7A04-07

五．配置hadoop用户免验证登录SSH

在hadoop用户的home目录，即cd/home/hadoop下执行命令

用hadoop用户登录（第一/二/三步分别在每一个节点上都要执行）

第一步：

ssh-keygen-trsa-P''-f~/.ssh/id_rsa

意思是读取id_dsa文件默认全部是yes安装

和root用户一样，会发现多出2个文件，一个是公开密匙，一个是访问用户名字信息的

第二步：

cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

是把暴露出来的公共密匙按顺序导入authorized_keys中保存

第三步：

chmod700~/.ssh

chmod600~/.ssh/authorized_keys

ssh机制很严谨，对文件的权限要求非常严格

我们需要把.ssh文件夹的权限改为700，默认是777

authorized_keys的权限这里是对的，600

第四步：

在主节点上执行下列命令（执行这一步前，前面步骤需要在所有的设备上运行）

sshA04-06cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

sshA04-07cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

scp.ssh/authorized_keyshadoop@A04-06:

/home/hadoop/.ssh/

scp.ssh/authorized_keyshadoop@A04-07:

/home/hadoop/.ssh/

最终authorized_keys文件要有各个集群服务器的信息

第五步：

验证

第一次会要求输入密码，完成后测试，每台机都要求能联通：

sshA04-05

sshA04-06

sshA04-07

不输入密码就表示成功了；

六．安装并设置JAVA

下载JDK1.7.0_65，并在解压缩在/home/Hadoop/jdk目录下

vi.bash_profile在.bash_profile文件上增加如下信息

JAVA_HOME=/home/hadoop/jdk/jdk1.7.0_65

PATH=$JAVA_HOME/bin:

$PATH

CLASSPATH=$CLASSPATH:

.:

$JAVA_HOME/lib/dt.jar:

$JAVA_HOME/lib/tools.jar

exportJAVA_HOME

exportPATH

运行发下命令使配置生效

[hadoop@A04-05~]$source/home/hadoop/.bash_profile

[hadoop@A04-05~]$env|grepJAVA_HOME

JAVA_HOME=/home/hadoop/jdk/jdk1.7.0_65

增加系统的JAVA_HOME系统变量

[root@A04-07~]#vi/etc/profile

[root@A04-07~]#source/etc/profile

[root@A04-07~]#env|grepJAVA_HOME

JAVA_HOME=/home/hadoop/jdk/jdk1.7.0_65

七．Hadoop安装

从http:

//apache.claz.org/hadoop/common/hadoop-2.4.1/上下载最新的版本，在A04-5服务器上建立/home/hadoop/hd_home目录，并把下载的新最新版本上传到此目录下。

[hadoop@A04-05hd_home]$tarxzfhadoop-2.4.1.tar.gz–解压缩安装包

[hadoop@A04-05hd_home]$ls

hadoop-2.4.1hadoop-2.4.1.tar.gz

以上为32位操作系统的可直接下载并安装，对于64位操作系统的，需下载src版本并进行自编译，步骤如下：

第一步：

安装maven

1.1下载文件apache-maven-3.1.0-alpha-1-bin.tar.gz

http:

//maven.apache.org/download.cgi

1.2执行命令tarzvxfapache-maven-3.1.0-alpha-1-bin.tar.gz

1.3配置环境变量，编辑etc/profile文件，添加如下代码

MAVEN_HOME=/home/youUser/apache-maven-3.1.0-alpha-1

PATH=$MAVEN_HOME/bin:

$PATH

exportMAVEN_HOME

exportPATH

1.4保存文件，并运行如下命令使环境变量生效

source/etc/profile

1.5通过如下命令可以查看是否安装正常

mvn-version

第二步：

安装protobuf

2.1.下载

hadoop使用protocolbuffer进行通信，需要下载和安装protobuf-2.5.0.tar.gz。

官网

XX云盘。

2.2安装

使用tar-zxfprotobuf-2.5.0.tar.gz命令解压后得到是protobuf-2.5.0的源码，

cdprotobuf-2.5.0进入目录

假如希望编译成功后输出的目录为/home/hadoop/hd_home/tools/protobuf则输入如下两条命令（如果没有安装C++，通过sudoyuminstallglibc-headersgcc-c++安装）：

./configure--prefix=/home/hadoop/hd_home/tools/protobuf

make&&makeinstall

编译成功后将exportPATH=/home/hadoop/hd_home/tools/protobuf/bin:

$PATH加入到环境变量中

最后输入protoc--version命令，如显示libprotoc2.5.0则安装成功

　　第三步：

安装cmake

3.1下载安装文件cmake-2.8.12.1.tar.gz

http:

//www.cmake.org/cmake/resources/software.html

　　3.2执行如下命令tarzvxfcmake-2.8.12.1.tar.gz

　　3.3进人cmake-2.8.12.1目录，执行如下命令

./bootstrap

make

makeinstall

　　3.4通过如下命令检查安装是否正常

cmake–version

　　第四步：

安装必要的包

　　4.1执行如下命令，安装autotool

yuminstallautoconfautomakelibtool

　　4.2执行如下命令，安装openssl-devel

yuminstallopenssl-devel

　　4.3执行如下命令，安装ncurses-devel

yuminstallncurses-devel

　　第五步：

正式编译hadoop

　　5.1下载源码包hadoop-2.2.0-src.tar.gz

　　5.2执行解包命令tarzvxfhadoop-2.2.0-src.tar.gz

　5.3由于源码有问题，需要进行修改，修改hadoop-common-project/hadoop-auth/pom.xml文件，添加如下内容

org.mortbay.jetty

jetty-util

test

org.mortbay.jetty

jetty

test

　　5.4进入hadoop-2.2.0-src目录，执行如下命令

mvncleanpackage-Pdist,native-DskipTests-Dtar

5.5如果能看到类型下面的输出就证明编程成功，这个过程中要保证网络通畅，需要下载很多包。

　　5.6进入hadoop-dist/target目录，看一下编译成果吧（整个编译过程花了一个小时左右的时间）

增加系统环境变量HADOOP_HOME

[root@A04-05hadoop]#vi.bash_profile

HADOOP_HOME=/home/hadoop/hd_home/hadoop-2.4.1

PATH=$HADOOP_HOME/bin:

$PATH

[root@A04-05hadoop]#source.bash_profile

[root@A04-05hd_home]#vi/etc/profile

exportHADOOP_HOME=/home/hadoop/hd_home/hadoop-2.4.1

PATH=$HADOOP_HOME/bin:

$PATH:

/usr/local/mysql/bin

[root@A04-05hadoop]#source/etc/profile

exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

   exportHADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改hadoop-env.sh，修改所有节点上的$HADOOP_HOME/etc/adoop/adoop-env.sh文件，在靠近文件头部分加入：

exportJAVA_HOME=/home/hadoop/jdk/jdk1.7.0_65

修改yarn-env.sh，修改所有节点上的$HADOOP_HOME/etc/adoop/yarn-env.sh文件，在靠近文件头部分加入：

exportJAVA_HOME=/home/hadoop/jdk/jdk1.7.0_65

修改slaves修改NameNode上的$HADOOP_HOME/etc/hadoop/slaves文件，将slaves的节点IP（也可以是相应的主机名）一个个加进去，一行一个IP，如下：

A04-06

A04-07

修改core-site.xml

运行以下命令复制可用的文件

cp./share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml./etc/hadoop/core-site.xml

对core-site.xml文件的修改，涉及下表中的属性：

属性名

属性值

涉及范围

fs.defaultFS

hdfs:

//A04-05:

9001

io.file.buffer.size

131072

所有节点

hadoop.tmp.dir

File:

/home/hadoop/tmp

所有节点

注意启动之前，需要将配置的目录创建好，如创建好/home/hadoop/tmp目录。

修改hdfs-site.xml

运行以下命令复制可用的文件

cp./share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml./etc/hadoop/hdfs-site.xml

对hdfs-site.xml文件的修改，涉及下表中的属性：

属性名

属性值

涉及范围

dfs.namenode.rpc-address

A04-5:

9001

所有节点

dfs.namenode.secondary.http-address

A04-5:

50090

所有节点

dfs.namenode.name.dir

file:

//home/hadoop/tmp/dfs/name

所有节点

dfs.datanode.data.dir

file:

//home/hadoop/tmp/dfs/data

所有节点

dfs.namenode.checkpoint.dir

file:

//home/hadoop/tmp/dfs/namesecondary

dfs.replication

2

所有节点

注意启动之前，需要将配置的目录创建好，如创建好/home/hadoop/dfs/name、/home/hadoop/dfs/namesecondary和/home/hadoop/dfs/data目录。

修改mapred-site.xml

运行以下命令复制可用的文件

cp./share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml./etc/hadoop/mapred-site.xml

对mapred-site.xml文件的修改，涉及下表中的属性：

属性名

属性值

涉及范围

mapreduce.framework.name

yarn

所有节点

修改yarn-site.xml

运行以下命令复制可用的文件

cp./share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml./etc/hadoop/yarn-site.xml

对yarn-site.xml文件的修改，涉及下表中的属性：

属性名

属性值

涉及范围

yarn.resourcemanager.hostname

A04-5

yarn.nodemanager.aux-services

mapreduce_shuffle

所有节点

以上安装配置完成，通过以下命令复制到另外两个节点：

Scp-r/home/hadoop/hd_homehadoop@A04-06:

~/

Scp-r/home/hadoop/hd_homehadoop@A04-07:

~/

三个节点上创建目录

[hadoop@A04-05~]$mkdirtmp

[hadoop@A04-05~]$cdtmp

[hadoop@A04-05tmp]$mkdirname

[hadoop@A04-05tmp]$mkdirdata

[hadoop@A04-05tmp]$mkdirnamesecondary

八．启动验证

格式化NameNode

1）进入$HADOOP_HOME/bin目录

2）进行格式化：

./hdfsnamenode-format

如果完成有，输出包含“INFOutil.ExitUtil:

Exitingwithstatus0”，则表示格式化成功。

启动HDFS

1）进入$HADOOP_HOME/sbin目录

2）启动HDFS：

./start-dfs.sh

检查启动是否成功

1）使用JDK提供的jps命令，在各台服务器上查看相应的进程是否已启动

2）检查$HADOOP_HOME/logs目录下的log和out文件，看看是否有异常信息。

执行HDFS命令

hdfsdfs-lshdfs:

//A04-05:

9001/--最后的/需要输入，否则被当作文件

hdfsdfs–put-f/home/hadoop/test/in/hdfs:

//A04-05:

9001/

hdfsdfs-rmhdfs:

//A04-05:

9001/in

启动YARN

1）进入$HADOOP_HOME/sbin目录

2）执行：

start-yarn.sh，即开始启动YARN

3）执行YARN命令9.2.1.yarnnode–list

4）yarnnode–status例如：

yarnnode-statuslocalhost:

47551

运行MapReduce程序

hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jarwordcounthdfs:

//A04-05:

9001/in/hdfs:

//A04-05:

9001/out/

wordcount运行完成后，结果会保存在out目录下，保存结果的文件名类似于“part-r-00000”。

另外，跑这个示例程序有两个需求注意的点：

1）in目录下要有文本文件，或in即为被统计的文本文件，可以为HDFS上的文件或目录，也可以为本地文件或目录

2）out目录不能存在，程序会自动去创建它，如果已经存在则会报错。

查看信息地址：

http:

//10.0.70.5:

50070

九．遇到的问题的解决办法

出现org.apache.hadoop.dfs.SafeModeException:

Cannotdelete/user/hadoop/input.Name问题，通过：

hadoopdfsadmin-safemodeleave进行解决

一十．