hadoop的安装步骤及配置Word下载.docx
- 文档编号:20695477
- 上传时间:2023-01-25
- 格式:DOCX
- 页数:9
- 大小:19.06KB
hadoop的安装步骤及配置Word下载.docx
《hadoop的安装步骤及配置Word下载.docx》由会员分享,可在线阅读,更多相关《hadoop的安装步骤及配置Word下载.docx(9页珍藏版)》请在冰豆网上搜索。
[root@namenode1.ssh]#szauthorized_keys(将文件下载到你电脑)然后在你要装datanode上输入
[root@datanode1_3~]#cd/root/.ssh
[root@datanode1_3.ssh]#rz(选择文件上传到datanode的对应文件上)将authorized_keys传到datanode的/root/.ssh上。
方法三:
输入命令行:
[root@namenode1.ssh]#scpauthorized_keys192.168.1.109(datanode的IP):
/root/.ssh
这是拷贝命令,将namenode上的authorized_keys拷贝到datanode的/root/,ssh上。
(3)验证配置成功的方法
在namenode上输入:
sshdatanode的IP地址(或者在hosts文件配置好后,也可以使用datanode的机器名)第一次连接时,会出现一个问题,输入yes,就可以连到datanode的机子上了,无需密码。
root@namenode1~]#sshdatanode1_2
Theauthenticityofhost'
datanode1_2(192.168.1.117)'
can'
tbeestablished.RSAkeyfingerprintis2b:
3b:
84:
66:
fb:
bd:
b1:
a7:
77:
ae:
49:
52:
a8:
53:
7d.Areyousureyouwanttocontinueconnecting(yes/no)?
yesWarning:
Permanentlyadded'
datanode2'
(RSA)tothelistofknownhosts.
Lastlogin:
WedApr2515:
57:
152012
[root@datanode1_2~]#
我们可以看到我们已经转到了datanode上了。
注意:
(1)当你ssh连到datanode之后,也就是你已经转到了该datanode下,不在原来的机器上了。
你可以输入命令行:
#exit回到原来的机器。
(2)namenodessh到datanode是不需要密码的,但是datanodessh到namenode上是需要密码的。
二、修改linux机器名
(1)查看主机名
在命令行输入:
hostname
[root@namenode1/]#cd[root@namenode1~]#hostnamenamenode1
这是你的主机名。
(2)修改主机名(这一步主要是修改主机,让主机记住分机)
1、执行cd/etc/sysconfig,进入/etc/sysconfig目录下
2、执行vinetwork,修改network文件,
NETWORKING=yes
HOSTNAME=hadoopName(修改成你需要的)
把HOSTNAME改成你想要的机器名,办公室的电脑是改成namenode和datanode,保存。
3、执行cd/etc,进入/etc目录下
4、执行vihosts
[root@namenode1etc]#vihosts
192.168.1.115namenode1namenode1
192.168.1.116datanode1_1datanode1_1
192.168.1.117datenode1_2datanode1_2
192.168.1.111datenode1_3datanode1_3
192.168.1.109datenode1_4datanode1_4
127.0.0.1localhost.localdomainlocalhost
要加入的datanode,把IP地址和机器名加在后面。
这一步是让主机记住datanode的名字。
所以在修改datanode的hosts时,只需写入namenode和你需要加入hadoop机器的datanode的IP地址及机器名就好。
[root@datanode1_4etc]#vihosts
192.168.1.109datanode1_4datanode1_4
5、输入hostname检查主机名。
重启电脑之后执行hostname命令。
三、安装JDK,并配置环境变量
(1)安装JDK
先在linux下面建一个目录用来安装jdk,目录是/usr/program,就是以后jdk安装到这个目录下面。
在namenode上已经下载有最新的JDK安装包,不需要重新下载,直接使用。
[root@namenode1~]#cd/usr/program/
[root@namenode1program]#ls
hadoop-1.0.1hadoop-1.0.1.tar.gzjdk-6u31-linux-x64.binhadoop-1.0.1.tarjdk1.6.0_31
把jdk-6u31-linux-x64.bin这个文件传到你要安装的datanode的新建目录/usr/program上去。
然后开始安装
1、执行chmod+xjdk-6u31-linux-x64.bin,(这是因为这个文件传过来不是可执行的文件,要把他变成可执行文件)。
2、执行./jdk-6u31-linux-x64.bin,(1、2步骤都是在/usr/program目录下执行的,2步骤,一路回车,遇到yes/no?
全部yes,最后会done,安装成功).
3、执行ls,会发现/usr/program这个目录下有个文件,一个是jdk-6u31-linux-x64.bin就是我们上传上来的,另一个就是jdk1.6.0_31,就是jdk的安装根目录.
(2)配置环境变量
1、执行cd/etc,进入/etc目录下。
2、执行viprofile,修改profile文件在里面加入以下四行(红色部分):
HOSTNAME=`/bin/hostname`
HISTSIZE=1000
if[-z"
$INPUTRC"
-a!
-f"
$HOME/.inputrc"
];
thenINPUTRC=/etc/inputrc
fi
exportJAVA_HOME=/usr/program/jdk1.6.0_31
exportPATH=$JAVA_HOME/bin:
$JAVA_HOME/jre/bin:
$PATH
exportCLASSPATH=.:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
#exportPATHUSERLOGNAMEMAILHOSTNAMEHISTSIZEINPUTRC
exportHADOOP_HOME=/usr/program/hadoop-1.0.1
exportPATH=$PATH:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
exportCLASSPATH=$CLASSPATH:
$HADOOP_HOME/hadoop-core-1.0.1.jar
foriin/etc/profile.d/*.shdo
if[-r"
$i"
then
if["
$PS1"
.$i
else
.$i>
/dev/null2>
&
1
fi
done
unseti
unsetpathmunge
3、执行chmod+xprofile,把profile变成可执行文件
4、执行sourceprofile,把profile里的内容执行生效
5、执行,java、javac、java-version查看是否安装成功.
(四)、下载hadoop1.0.1,并修改hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slaves文件的配置。
在我们的namenode1上已经有hadoop1.0.1解压包,可以直接下来用。
[root@namenode1~]#cd/usr/program/
hadoop-1.0.1hadoop-1.0.1.tar.gzjdk-6u31-linux-x64.bin
hadoop-1.0.1.tarjdk1.6.0_31
在你要安装的电脑上解压hadoop-1.0.1.tar.gz。
(1)修改hadoop-env.sh文件
[root@datanode1_3~]#cd/usr/program/hadoop-1.0.1
[root@datanode1_3hadoop-1.0.1]#cdconf
[root@datanode1_3conf]#vihadoop-env.sh
修改红色部分
#Thejavaimplementationtouse.
Required.exportJAVA_HOME=/usr/program/jdk1.6.0_31
将JDK修改成你的版本。
(2)修改core-site.xml
[root@namenode1conf]#vicore-site.xml
<
configuration>
property>
name>
hadoop.tmp.dir<
/name>
<
value>
/usr/local/hadoop/hadooptmp<
/value>
/property>
fs.default.name<
hdfs:
//192.168.1.115:
9000<
(改成namenode的IP)<
/configuration>
加入红色部分。
(3)修改hdfs-site.xml
[root@namenode1conf]#vihdfs-site.xml
dfs.replication<
3<
加入红色部分
(4)修改mapred-site.xml
[root@namenode1conf]#vimapred-site.xml
mapred.job.tracker<
192.168.1.115:
9001<
(改成namenode的IP)
(5)修改masters和slaves
[root@namenode1conf]#vimasters
192.168.1.115(namenode的IP)[root@namenode1conf]#vislaves
192.168.1.116(datanode的IP)
192.168.1.117
192.168.1.111
这一步主要是在hadoop上表示,主机也就是masters是哪一台,分机也就是slaves是哪几台,后面加入的datanode的IP都需要加入到namenode的slaves上。
datanode上的masters要写入namenode的IP,slaves就不用管了。
OK了!
五、创建一个给hadoop备份的文件建一个目录
上述文件修改好之后,记得建个目录,我建的目录是/usr/local/hadoop在启动hadoop之后会在这个目录下面产生一个tmp临时文件。
[root@datanode1_4~]#cd/usr/local/hadoop/
[root@datanode1_4hadoop]#lshadooptmp
这个文件是安装完启动之后自动产生的,建了目录之后直接下一步就可以了。
在连好之前,保证这个文件不存在。
六、把hadoop的bin加入到环境变
1、执行cd/etc,进入/etc目录下。
2、执行viprofile,修改profile文件在里面加入以下四行
then
INPUTRC=/etc/inputrc
if["
.$i
else
.$i>
fi
加入红色部分
4、执行sourceprofile,把profile里的内容执行生效(我们不管是装hadoop和JDK都修改了环境变量,都是在/etc/profile上vi修改的,所以我们做完第一步和第二部之后,可以把profile整个拷贝到你需要增加的datanode节点上。
在进行部分文件权限的修改,就可以了。
因为在profile文件里的内容是一样的。
)
七、修改部分运行文件的权限。
(这个步骤主要是对新加入的datanode操作的,不需要在namenode进行修改)
/usr/program/hadoop-1.0.1/bin
将这个文件下的所有的.sh文件变成可执行文件。
[root@datanode1_4~]#cd/usr/program/hadoop-1.0.1/bin[root@datanode1_4bin]#chmod+x*.sh
将这个文件下的hadoop这个文件变成可执行文件。
#chmod+xhadoop
八、格式化hadoop,启动hadoop
保证主机和分机的防火墙都是关着的。
(1)格式化在namenode上执行#hadoopnamenode–format
(2)启动hadoop输入命令start-all.sh(终止命令是stop-all.sh)(3)输入jps检验hadoop的启动情况。
会出现
[root@namenode1~]#jps
3916NameNode
4087SecondaryNameNode
4310Jps
4185JobTracker
表示namenode运行正常。
(3)在网页上检查是否加入了新的datanodehttp:
50070/可以看到节点的运行情况
(4)检查mapreduce的运行情况http:
50030/如果都显示出节点的情况,表示你已经安装成功了。
新加datanode的安装步骤
1、ssh无密码配置和上面详细步骤一样,在新datanode上的/root上建一个/.ssh的目录,把namenode的authorized_keys复制到新datanode的/.ssh目录上。
在namenode上ssh验证一下是否需要密码。
2修改机器名,和上面详细步骤一样。
记得重启一下。
3建/usr/program这个目录,把jdk的安装文件放进去,安装一下。
这和上面详细步骤一样,但不需要修改环境变量。
4将namenode上/usr/program/hadoop-1.0.1这个文件拷贝到新datanode的相同目录下。
再将namenode上面/etc/profile这个文件拷贝到新datanode相同目录上。
查看profile的可执行情况,不可执行就用命令把profile变成可执行文件,再用source命令让profile生效。
5在/usr/local/下面建一个hadoop目录,保证里面是空的。
Hadoop安装好了之后会在这里产生一个临时文件。
6和上面详细步骤的第七步一样,修改几个文件的权限。
7关闭防火墙重启一下,在namenode上输入start-all.sh运行一下,jps看一下进程中是否有namenode,在新datanode上输入jps看一下datanode是否启动。
最后和上面详细步骤一样,查看一下网页,看一下节点运作情况。
如果livenodes数目与所有datanode数目一致,表示安装好了
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 安装 步骤 配置