hadoop22安装Word文件下载.docx
- 文档编号:16719578
- 上传时间:2022-11-25
- 格式:DOCX
- 页数:20
- 大小:69.89KB
hadoop22安装Word文件下载.docx
《hadoop22安装Word文件下载.docx》由会员分享,可在线阅读,更多相关《hadoop22安装Word文件下载.docx(20页珍藏版)》请在冰豆网上搜索。
192.168.0.1
cloud001
cloud002
cloud003
3、打通cloud001到cloud002、cloud003的SSH无密码登陆
3.1安装ssh
一般系统是默认安装了ssh命令的。
如果没有,或者版本比较老,则可以重新安装:
soduapt-getinstallssh
3.2设置local无密码登陆
安装完成后会在~目录(当前用户主目录,即这里的/home/hduser)下产生一个隐藏文件夹.ssh(ls-a可以查看隐藏文件)。
如果没有这个文件,自己新建即可(mkdir.ssh)。
具体步骤如下:
1、进入.ssh文件夹
2、ssh-keygen-trsa之后一路回车(产生秘钥)
3、把id_rsa.pub追加到授权的key里面去(catid_rsa.pub>
>
authorized_keys)
4、重启SSH服务命令使其生效:
servicesshdrestart(这里RedHat下为sshdUbuntu下为ssh)
此时已经可以进行sshlocalhost的无密码登陆
【注意】:
以上操作在每台机器上面都要进行。
3.3设置远程无密码登陆
这里只有cloud001是master,如果有多个namenode,或者rm的话则需要打通所有master都其他剩余节点的免密码登陆。
(将001的authorized_keys追加到002和003的authorized_keys)
进入001的.ssh目录
scpauthorized_keyshduser@cloud002:
~/.ssh/authorized_keys_from_cloud001
进入002的.ssh目录
catauthorized_keys_from_cloud001>
authorized_keys
至此,可以在001上面sshhduser@cloud002进行无密码登陆了。
003的操作相同。
4、安装jdk(建议每台机器的JAVA_HOME路径信息相同)
注意:
这里选择下载jdk并自行安装,而不是通过源直接安装(apt-getinstall)
4.1、下载jkd(
//www.O
4.1.1对于32位的系统可以下载以下两个Linuxx86版本(uname-a查看系统版本)
4.1.264位系统下载Linuxx64版本(即x64.rpm和x64.tar.gz)
4.2、安装jdk(这里以.tar.gz版本,32位系统为例)
安装方法参考
4.2.1选择要安装java的位置,如/usr/目录下,新建文件夹java(mkdirjava)
4.2.2将文件jdk-7u40-linux-i586.tar.gz移动到/usr/java
4.2.3解压:
tar-zxvfjdk-7u40-linux-i586.tar.gz
4.2.4删除jdk-7u40-linux-i586.tar.gz(为了节省空间)
至此,jkd安装完毕,下面配置环境变量
4.3、打开/etc/profile(vim/etc/profile)
在最后面添加如下内容:
JAVA_HOME=/usr/java/jdk1.7.0_40(这里的版本号1.7.40要根据具体下载情况修改)
CLASSPATH=.:
$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:
$PATH
exportJAVA_HOMECLASSPATHPATH
4.4、source/etc/profile
4.5、验证是否安装成功:
java–version
【注意】每台机器执行相同操作,最后将java安装在相同路径下(不是必须的,但这样会使后面的配置方便很多)
5、关闭每台机器的防火墙
RedHat:
/etc/init.d/iptablesstop关闭防火墙。
chkconfigiptablesoff关闭开机启动。
Ubuntu:
ufwdisable(重启生效)
更多详情见请继续阅读下一页的精彩内容:
相关阅读:
Ubuntu13.04上搭建Hadoop环境
Ubuntu12.10+Hadoop1.2.1版本集群配置
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)
第三部分
Hadoop
2.2安装过程
由于hadoop集群中每个机器上面的配置基本相同,所以我们先在namenode上面进行配置部署,然后再复制到其他节点。
所以这里的安装过程相当于在每台机器上面都要执行。
但需要注意的是集群中64位系统和32位系统的问题。
1、解压文件
将第一部分中下载的hadoop-2.2.tar.gz解压到/home/hduser路径下(或者将在64位机器上编译的结果存放在此路径下)。
然后为了节省空间,可删除此压缩文件,或将其存放于其他地方进行备份。
每台机器的安装路径要相同!
!
2、hadoop配置过程
配置之前,需要在cloud001本地文件系统创建以下文件夹:
~/dfs/name
~/dfs/data
~/temp
这里要涉及到的配置文件有7个:
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的,可以复制相应的template文件获得。
配置文件1:
hadoop-env.sh
修改JAVA_HOME值(exportJAVA_HOME=/usr/java/jdk1.7.0_40)
配置文件2:
yarn-env.sh
修改JAVA_HOME值(exportJAVA_HOME=/usr/java/jdk1.7.0_40)
配置文件3:
slaves(这个文件里面保存所有slave节点)
写入以下内容:
配置文件4:
core-site.xml
<
configuration>
property>
name>
fs.defaultFS<
/name>
value>
hdfs:
//cloud001:
9000<
/value>
/property>
io.file.buffer.size<
131072<
hadoop.tmp.dir<
file:
/home/hduser/tmp<
description>
Abaseforothertemporarydirectories.<
/description>
hadoop.proxyuser.hduser.hosts<
*<
hadoop.proxyuser.hduser.groups<
/configuration>
配置文件5:
hdfs-site.xml
dfs.namenode.secondary.http-address<
cloud001:
9001<
dfs.namenode.name.dir<
/home/hduser/dfs/name<
dfs.datanode.data.dir<
/home/hduser/dfs/data<
dfs.replication<
3<
dfs.webhdfs.enabled<
true<
配置文件6:
mapred-site.xml
mapreduce.framework.name<
yarn<
mapreduce.jobhistory.address<
10020<
mapreduce.jobhistory.webapp.address<
19888<
配置文件7:
yarn-site.xml
yarn.nodemanager.aux-services<
mapreduce_shuffle<
yarn.nodemanager.aux-services.mapreduce.shuffle.class<
org.apache.hadoop.mapred.ShuffleHandler<
yarn.resourcemanager.address<
8032<
yarn.resourcemanager.scheduler.address<
cloud001:
8030<
yarn.resourcemanager.resource-tracker.address<
8031<
yarn.resourcemanager.admin.address<
8033<
yarn.resourcemanager.webapp.address<
8088<
3、复制到其他节点
这里可以写一个shell脚本进行操作(有大量节点时比较方便)
cp2slave.sh
#!
/bin/bash
scp–r/home/hduser/hadoop-2.2.0hduser@cloud002:
~/
scp–r/home/hduser/hadoop-2.2.0hduser@cloud003:
由于我们集群里面001是64bit而002和003是32bit的,所以不能直接复制,而采用单独安装hadoop,复制替换相关配置文件:
Cp2slave2.sh
scp/home/hduser/hadoop-2.2.0/etc/hadoop/slaveshduser@cloud002:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/slaveshduser@cloud003:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/core-site.xmlhduser@cloud002:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/core-site.xmlhduser@cloud003:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/hdfs-site.xmlhduser@cloud002:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/hdfs-site.xmlhduser@cloud003:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/mapred-site.xmlhduser@cloud002:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/mapred-site.xmlhduser@cloud003:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/yarn-site.xmlhduser@cloud002:
scp/home/hduser/hadoop-2.2.0/etc/hadoop/yarn-site.xmlhduser@cloud003:
4、启动验证
4.1启动hadoop
进入安装目录:
cd~/hadoop-2.2.0/
格式化namenode:
./bin/hdfsnamenode–format
启动hdfs:
./sbin/start-dfs.sh
此时在001上面运行的进程有:
namenodesecondarynamenode
002和003上面运行的进程有:
datanode
启动yarn:
./sbin/start-yarn.sh
namenodesecondarynamenoderesourcemanager
datanodenodemanaget
查看集群状态:
./bin/hdfsdfsadmin–report
查看文件块组成:
./bin/hdfsfsck/-files-blocks
查看HDFS:
http:
//16.187.94.161:
50070
查看RM:
//16.187.94.161:
8088
4.2运行示例程序:
先在hdfs上创建一个文件夹
./bin/hdfsdfs–mkdir/input
./bin/hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriterinput
PS:
dataNode无法启动是配置过程中最常见的问题,主要原因是多次formatnamenode造成namenode和datanode的clusterID不一致。
建议查看datanode上面的log信息。
解决办法:
修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。
还有一种解决方法见下面6楼评论!
22楼
Rooter
5小时前发表
[回复]
博主想问下,为什么http:
//localhost50070/dfshealth.jsp页面上的Browsethefilesystem不能打开呢?
我用单节点和完全分布式的部署都不能打开
21楼
zxu618
4天前09:
41发表
楼主也是64位,你当时如何重新编译的?
Re:
我是菜鸟要早起
3天前18:
13发表
回复zxu618:
编译方法:
20楼
2013-11-1516:
40发表
楼主威武,最近导师让搭个Hadoop,正愁没有教程呢
19楼
a632154894
2013-11-1513:
楼主你好,我在启动hdfs:
./sbin/start-dfs.sh的时候出错了。
我把我的配置给你看看
18楼
34发表
楼主,你好,我不清楚你那些指令,哪些是在root用户下执行的,哪些是在hduser下执行的!
12发表
回复a632154894:
可以所有都在hduser用户下,前提是该用户已经加入到sudoers文件
17楼
淵鴻
2013-11-0817:
44发表
楼主,为什么我的resourcemanager开起来之后,自动就关了呢,8088端口没有在监听
2013-11-1019:
04发表
回复Gameword1:
一般这种问题都是集群中结点直接通讯问题导致的。
建议你查看namenode上面关于resourcemanager的log。
看看具体错误在哪里
16楼
neihaoma
22发表
楼主啊,,搭建成功了,页面也出来了,但是使用过程中还有好多问题,,求解
15楼
2013-11-0611:
57发表
编译安装顺利完成,十分感谢楼主分享,赞一个
2013-11-0815:
54发表
回复u012732153:
楼主,有个问题要请教一下,加我
11发表
其他slav
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop22 安装