hadoop集群环境搭建new文档格式.docx

hadoop集群环境搭建new文档格式.docx

《hadoop集群环境搭建new文档格式.docx》由会员分享，可在线阅读，更多相关《hadoop集群环境搭建new文档格式.docx（23页珍藏版）》请在冰豆网上搜索。

#在开机时启用一个服务

#systemctldisablefoo.service 

#在开机时禁用一个服务

#systemctlis-enablediptables.service 

#查看服务是否开机启动

#reboot 

#重启主机

#shutdown-hnow 

#立即关机

#source/etc/profile 

#配置文件修改立即生效

#yuminstallnet-tools

二.安装配置CentOS

2.1安装CentOS

1）选择启动盘CentOS-7.0-1406-x86_64-DVD.iso，启动安装

2）选择InstallCentOS7，回车，继续安装

3）选择语言，默认是English，学习可以选择中文，正时环境选择English

4）配置网络和主机名，主机名：

master，网络选择开启，配置手动的IPV4

5）选择安装位置；

在分区处选择手动配置；

选择标准分区，点击这里自动创建他们，点击完成，收受更改

6）修改root密码，密码：

Jit123

7）重启，安装完毕。

2.2配置IP

2.2.1检查IP

#ipaddr

或

#iplink

2.2.2配置IP和网关

#cd/etc/sysconfig/network-scripts#进入网络配置文件目录

#findifcfg-em* 

#查到网卡配置文件，例如ifcfg-em1

#viifcfg-em1 

#编辑网卡配置文件

#vi/etc/sysconfig/network-scripts/ifcfg-em1 

#编辑网卡配置文件

配置内容：

BOOTPROTO=static 

#静态IP配置为static，动态配置为dhcp

ONBOOT=yes 

#开机启动

IPADDR=172.16.18.102 

#IP地址

NETMASK=255.255.255.0 

#子网掩码

GATEWAY=172.16.18.1

DNS1=219.149.194.55

#systemctlrestartnetwork.service 

#重启网络

2.2.3配置hosts

#vi/etc/hosts

编辑内容：

172.16.18.102master

172.16.18.103slave1

172.16.18.104slave2

172.16.18.105slave3

2.3关闭防火墙

#systemctlstatusfirewalld.service 

#检查防火墙状态

#systemctlstopfirewalld.service 

#关闭防火墙

#systemctldisablefirewalld.service#禁止开机启动防火墙

2.4时间同步

#yuminstall-yntp 

#安装ntp服务

#ntpdatecn.pool.ntp.org 

#同步网络时间

2.5安装配置jdk

2.5.1卸载自带jdk

安装好的CentOS会自带OpenJdk,用命令java-version，会有下面的信息：

Java version"

1.6.0"

OpenJDKRuntimeEnvironment（build1.6.0-b09）

OpenJDK64-BitServerVM（build1.6.0-b09,mixedmode）

最好还是先卸载掉openjdk,在安装sun公司的jdk.

先查看rpm-qa|grepjava

显示如下信息：

java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

卸载：

rpm-e--nodepsjava-1.4.2-gcj-compat-1.4.2.0-40jpp.115

rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

还有一些其他的命令

rpm-qa|grepgcj

rpm-qa|grepjdk

如果出现找不到openjdksource的话，那么还可以这样卸载

yum-yremovejavajava-1.4.2-gcj-compat-1.4.2.0-40jpp.115

yum-yremovejavajava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

2.5.2安装jdk

上传jdk-8u121-linux-x64.gz安装包到root根目录

#mkdir/home

#tar-zxvfjdk-8u121-linux-x64.gz-C/home/

#rm-rfjdk-8u121-linux-x64.gz 

2.5.3各个主机之间复制jdk

#scp-r/homeroot@slave1:

/home/hadoop

#scp-r/homeroot@slave2:

#scp-r/homeroot@slave3:

2.5.4各个主机配置jdk环境变量

#vi/etc/profile

编辑内容

exportJAVA_HOME=/home/jdk1.8.0_121

exportPATH=$JAVA_HOME/bin:

$PATH

exportCLASSPATH=.:

$JAVA_HOME/lib/dt.jar:

$JAVA_HOME/lib/tools.jar

#使配置文件生效

#java-version 

#查看java版本

创建hadoop用户（每台主机上执行）

[root@Master1~]#groupaddhadoop//创建用户组

[root@Master1~]#useradd-ghadoophadoop//新建hadoop用户并增加到hadoop工作组

[root@Master1~]#passwdhadoop 

//设置密码

2.6配置ssh无密钥访问

分别在各个主机上检查ssh服务状态：

#systemctlstatussshd.service 

#检查ssh服务状态

#yuminstallopenssh-serveropenssh-clients 

#安装ssh服务，如果已安装，则不用执行该步骤

#systemctlstartsshd.service 

#启动ssh服务，如果已安装，则不用执行该步骤

分别在各个主机上生成密钥（每台主机分别执行）

#su-hadoop//登录到hadoop用户

#ssh-keygen-trsa 

-P#生成密钥（按三次回车完成），如下图所示

在slave1上

#cp~/.ssh/id_rsa.pub~/.ssh/slave1.id_rsa.pub

#scp~/.ssh/slave1.id_rsa.pubhadoop@master:

~/.ssh

在slave2上

#cp~/.ssh/id_rsa.pub~/.ssh/slave2.id_rsa.pub

#scp~/.ssh/slave2.id_rsa.pubhadoop@master:

在slave3上

#cp~/.ssh/id_rsa.pub~/.ssh/slave3.id_rsa.pub

#scp~/.ssh/slave3.id_rsa.pubhadoop@master:

在master上

#cd~/.ssh

#catid_rsa.pub>

>

authorized_keys

#catslave1.id_rsa.pub>

authorized_keys

#catslave2.id_rsa.pub>

#catslave3.id_rsa.pub>

#scpauthorized_keyshadoop@slave1:

#scpauthorized_keyshadoop@slave2:

#scpauthorized_keyshadoop@slave3:

分别在各个主机上执行如下命令（赋予权限）

su-hadoop

chmod 

600 

~/.ssh/authorized_keys

测试ssh免密登录

sshslave1#第一次登录需要输入yes然后回车，如没提示输入密码，则配置成功。

三.安装配置hadoop

3.1安装hadoop

上传hadoop-2.7.4.tar.gz安装包到root根目录

#tar-zxvfhadoop-2.7.4.tar.gz-C/home/hadoop

#rm-rfhadoop-2.7.4.tar.gz

#mkdir/home/hadoop/hadoop-2.7.4/tmp

#mkdir/home/hadoop/hadoop-2.7.4/logs

#mkdir/home/hadoop/hadoop-2.7.4/hdf

#mkdir/home/hadoop/hadoop-2.7.4/hdf/data

#mkdir/home/hadoop/hadoop-2.7.4/hdf/name

3.1.1在hadoop中配置hadoop-env.sh文件

editthefileetc/hadoop/hadoop-env.shtodefinesomeparametersasfollows:

#settotherootofyourJavainstallation

exportJAVA_HOME=/home/jdk1.8.0_121

3.1.2修改yarn-env.sh

#exportJAVA_HOME=/home/y/libexec/jdk1.7.0/

3.1.3修改slaves

#vi/home/hadoop/hadoop-2.7.4/etc/hadoop/slaves

删除：

localhost

添加：

3.1.4修改core-site.xml

#vi/home/hadoop/hadoop-2.7.4/etc/hadoop/core-site.xml

<

configuration>

<

property>

name>

fs.default.name<

/name>

value>

hdfs:

//master:

9000<

/value>

/property>

hadoop.tmp.dir<

file:

/home/hadoop/hadoop-2.7.4/tmp<

io.file.buffer.size<

131072<

description>

该属性值单位为KB，131072KB即为默认的64M<

/description>

/configuration>

3.1.5修改hdfs-site.xml

#vi/home/hadoop/hadoop-2.7.4/etc/hadoop/hdfs-site.xml

dfs.nameservices<

hadoop-cluster1<

dfs.datanode.data.dir<

/home/hadoop/hadoop-2.7.4/hdf/data<

final>

true<

/final>

dfs.namenode.name.dir<

/home/hadoop/hadoop-2.7.4/hdf/name<

dfs.replication<

1<

分片数量，伪分布式将其配置成1即可<

dfs.permissions<

false<

3.1.6修改mapred-site.xml

#cp/home/hadoop/hadoop-2.7.4/etc/hadoop/mapred-site.xml.template/home/hadoop/hadoop-2.7.4/etc/hadoop/mapred-site.xml

#vi/home/hadoop/hadoop-2.7.4/etc/hadoop/mapred-site.xml

mapreduce.framework.name<

yarn<

mapreduce.jobhistory.address<

master:

10020<

mapreduce.jobhistory.webapp.address<

19888<

3.1.7修改yarn-site.xml

#vi/home/hadoop/hadoop-2.7.4/etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services.mapreduce.shuffle.class<

org.apache.mapred.ShuffleHandler<

yarn.nodemanager.aux-services<

mapreduce_shuffle<

yarn.resourcemanager.address<

8032<

yarn.resourcemanager.scheduler.address<

8030<

yarn.resourcemanager.resource-tracker.address<

8031<

yarn.resourcemanager.admin.address<

8033<

yarn.resourcemanager.webapp.address<

8088<

3.2各个主机之间复制hadoop

#scp-r/home/hadoop/hadoop-2.7.4hadoop@slave1:

#scp-r/home/hadoop/hadoop-2.7.4hadoop@slave2:

#scp-r/home/hadoop/hadoop-2.7.4hadoop@slave3:

3.3各个主机配置hadoop环境变量

#su-root

exportHADOOP_HOME=/home/hadoop/hadoop-2.7.4

exportPATH=$HADOOP_HOME/bin:

$HADOOP_HOME/sbin:

exportHADOOP_LOG_DIR=/home/hadoop/hadoop-2.7.4/logs

exportYARN_LOG_DIR=$HADOOP_LOG_DIR

3.4格式化namenode

#cd/home/hadoop/hadoop-2.7.4/sbin

#hdfsnamenode-format

3.5启动hadoop

启动hdfs：

#start-all.sh

检查hadoop启动情况：

http:

//172.16.18.102:

50070#如下图所示

8088/cluster#如下图所示

检查进程：

#jps

master主机包含ResourceManager、SecondaryNameNode、NameNode等，则表示启动成功，例如

2212ResourceManager

2484Jps

1917NameNode

2078SecondaryNameNode

各个slave主机包含DataNode、NodeManager等，则表示启用成功，例如

17153DataNode

17334Jps

17241NodeManager

停止hadoop命名

#stop-all.sh

四.安装配置zookeeper

4.1配置zookeeper环境变量

vi/etc/profile

exportZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.6

exportPATH=$ZOOKEEPER_HOME/bin:

source/etc/profile

4.2配置zookeeper

1、到zookeeper官网下载zookeeper 

2、在slave1,slave2,slave3上面搭建zookeeper

例如：

slave1172.16.18.103

slave2 

172.16.18.104

slave3 

172.16.18.105

3、上传zookeeper-3.4.6.tar.gz到任意一台服务器的根目录，并解压：

zookeeper：

tar–zxvfzookeeper-3.4.6.tar.gz-C/home/hadoop

4、在zookeeper目录下建立zookeeper-data目录，同时将zookeeper目录下conf/zoo_simple.cfg文件复制一份成zoo.cfg

cp/home/hadoop/zookeeper-3.4.6/conf/zoo_sample.cfgzoo.cfg

5、修改zoo.cfg

#Thenumberofmillisecondsofeachtick

tickTime=2000

#Thenumberofticksthattheinitial

#synchronizationphasecantake

initLimit=10

#Thenumberofticksthatcanpassbetween

#sendingarequestandgettinganacknowledgement

syncLimit=5

#thedirectorywherethesnapshotisstored.

#donotuse/tmpforstorage,/tmphereisjust

#examplesakes.

dataDir=/home/hadoop/zookeeper-3.4.6/zookeeper-data