Eclipse33 windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序.docx
- 文档编号:2946824
- 上传时间:2022-11-16
- 格式:DOCX
- 页数:15
- 大小:559.53KB
Eclipse33 windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序.docx
《Eclipse33 windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序.docx》由会员分享,可在线阅读,更多相关《Eclipse33 windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序.docx(15页珍藏版)》请在冰豆网上搜索。
Eclipse33windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序
Eclipse3.3(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序
一、hadoop集群安装
机器名
IP
作用
NameNode
192.168.1.1
NameNode、master、jobTracker
DataNode1
192.168.1.2
DataNode、slave、taskTracker
DataNode2
192.168.1.3
DataNode、slave、taskTracker
机器满足1G内存,2G更好。
Linux5安装后,可不启动图形界面,节约内存。
安装步骤:
1、安装RedHat.Enterprise.Linux.5
用介质安装linux,安装完后修改机器名:
$hostname机器名。
在/etc/hosts中添加机器名和相应的IP:
127.0.0.1localhost
192.168.1.1NameNode
192.168.1.2DataNode1
192.168.1.3DataNode2
修改/etc/inittab文件:
id:
5:
initdefault:
改为id:
3:
initdefault:
重新启动OS就不会进入图形界面了
2、开启ssh服务
#servicesshdstart
可以在windows下用SSHSecureShellClient来测试一下。
3、关闭防火墙(所有机器)
#chkconfig--levels2345iptablesoff
注意:
这步非常重要。
如果不关闭,会出现找不到datanode问题。
4、建立ssh无密码登录
(1)在NameNode上实现无密码登录本机:
$ssh-keygen-trsa
直接回车,完成后会在~/.ssh/生成两个文件:
id_rsa和id_rsa.pub。
$ssh-keygen-tdsa
直接回车,完成后会在~/.ssh/生成两个文件:
id_dsa和id_dsa.pub。
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys将生成的密钥串在钥匙链上
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys将生成的密钥串在钥匙链上
$chmod600~/.ssh/authorized_keys。
(2)实现NameNode无密码登录其他DataNode:
把NameNode上的authorized_keys文件追加到dataNode的authorized_keys内(以
192.168.0.2节点为例):
a.拷贝NameNode的authorized_keys文件:
$scpauthorized_keysmark@192.168.0.2:
/home/mark/
b.登录192.168.0.2,执行$catauthorized_keys>>~/.ssh/authorized_keys
其他的dataNode执行同样的操作。
注意:
如果配置完毕,如果namenode依然不能访问datanode,可以修改datanode的
authorized_keys的读写权限(很重要!
):
$chmod600~/.ssh/authorized_keys。
5、安装jdk1.6
下载地址:
安装后,添加如下语句到/etc/profile中:
exportJAVA_HOME==/usr/java/jdk1.6.0_31
exportJRE_HOME==/usr/java/jdk1.6.0_31/jre
exportCLASSPATH=.:
$JAVA_HOME/lib:
$JRE_HOME/lib:
$CLASSPATH
exportPATH=$JAVA_HOME/bin:
$JRE_HOME/bin:
$PATH
注意:
每台机器的java环境最好一致。
安装过程中如有中断,切换为root权限来安装。
6、安装hadoop
下载hadoop-0.20.2.tar.gz
解压:
$tar–zvxfhadoop-0.20.2.tar.gz
把Hadoop的安装路径添加到环/etc/profile中:
exportHADOOP_HOME=/home/mark/hadoop-0.20.2
exportPATH=$HADOOP_HOME/bin:
$PATH
7、配置hadoop
hadoop的主要配置都在hadoop-0.20.2/conf下。
(1)在conf/hadoop-env.sh中配置Java环境(namenode与datanode的配置相同):
$gedithadoop-env.sh
$exportJAVA_HOME=/usr/java/jdk1.6.0_31
(2)配置conf/masters和conf/slaves文件:
(只在namenode上配置)
masters:
192.168.1.1
slaves:
192.168.1.2
192.168.1.3
(3)配置conf/core-site.xml,conf/hdfs-site.xml及conf/mapred-site.xml(简单配置,datanode的配置相同)
core-site.xml:
---globalproperties-->
--filesystemproperties-->
//192.168.1.1:
9000
hdfs-site.xml:
(replication默认为3,如果不修改,datanode少于三台就会报错)
mapred-site.xml:
9001
8、运行hadoop
进入hadoop-0.20.2/bin,首先格式化文件系统:
$hadoopnamenode–format
启动Hadoop:
$start-all.sh
$./start-dfs.sh
$./start-mapred.sh
用jps命令查看进程,NameNode上的结果如下:
[mark@namenode~]$jps
8872JobTracker
8650NameNode
15183Jps
8780SecondaryNameNode
[mark@namenode~]$
DataNode上的结果:
[mark@DataNode1~]$jps
7346DataNode
28263Jps
7444TaskTracker
[mark@DataNode1~]$
查看集群状态:
$hadoopdfsadmin–report
[mark@namenode~]$hadoopdfsadmin-report
ConfiguredCapacity:
222387527680(207.11GB)
PresentCapacity:
201404645376(187.57GB)
DFSRemaining:
201404182528(187.57GB)
DFSUsed:
462848(452KB)
DFSUsed%:
0%
Underreplicatedblocks:
2
Blockswithcorruptreplicas:
0
Missingblocks:
0
-------------------------------------------------
Datanodesavailable:
3(3total,0dead)
Name:
192.168.1.2:
50010
DecommissionStatus:
Normal
ConfiguredCapacity:
60261593088(56.12GB)
DFSUsed:
167936(164KB)
NonDFSUsed:
6507544576(6.06GB)
DFSRemaining:
53753880576(50.06GB)
DFSUsed%:
0%
DFSRemaining%:
89.2%
Lastcontact:
FriMar3010:
18:
12CST2012
Name:
192.168.1.3:
50010
DecommissionStatus:
Normal
ConfiguredCapacity:
101864341504(94.87GB)
DFSUsed:
143360(140KB)
NonDFSUsed:
7971401728(7.42GB)
DFSRemaining:
93892796416(87.44GB)
DFSUsed%:
0%
DFSRemaining%:
92.17%
Lastcontact:
FriMar3010:
18:
12CST2012
9、运行wordcount.java程序
(1)先在本地磁盘建立两个输入文件file01和file02:
$echo“HelloWorldByeWorld”>file01
$echo“HelloHadoopGoodbyeHadoop”>file02
(2)在hdfs中建立一个input目录:
$hadoopfs–mkdirinput
(3)将file01和file02拷贝到hdfs中:
$hadoopfs–copyFromLocal/home/mark/file0*input
(4)执行wordcount:
$hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput
(5)完成之后,查看结果:
$hadoopfs-catoutput/part-r-00000
Bye1
Goodbye1
Hadoop2
Hello2
World2
二、windows开发机器
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Eclipse33 windows7连接远程hadoopRedHatEnterpriseLinux5并测试程序 windows7 连接 远程 hadoopRedHatEnte
链接地址:https://www.bdocx.com/doc/2946824.html