CentOS安装Hadoop2x.docx
- 文档编号:6174873
- 上传时间:2023-01-04
- 格式:DOCX
- 页数:8
- 大小:15.88KB
CentOS安装Hadoop2x.docx
《CentOS安装Hadoop2x.docx》由会员分享,可在线阅读,更多相关《CentOS安装Hadoop2x.docx(8页珍藏版)》请在冰豆网上搜索。
CentOS安装Hadoop2x
Hadoop2.2.0的部署
机器环境:
操作系统:
CentOS 6.464位系统
Hadoop版本:
hadoop-2.2.0,在CentOS下自行编译后的64位版本。
操作步骤:
1.假设共四台机器,每台机器的用户名均设为myhadoop(为了安装配置的方便,另外也是为了权限问题)
机器名IP地址分配
hadoop110.172.169.191namenode,ResourceManager
hadoop210.172.169.192datanode,NodeManager
hadoop310.172.169.193datanode,NodeManager
hadoop410.172.169.194datanode,NodeManager
2.每台机器均安装好javajdk并配置好相应的环境变量。
要求每台机器的安装路径以及java环境变量设置一致。
3.关闭防火墙
切换到root帐户
开启:
chkconfigiptableson
关闭:
chkconfigiptablesoff
重启后永久生效
4.每台都配置/etc/host文件
在root账户下,打开/etc/host文件,添加IP地址解析
hadoop110.172.169.191
hadoop210.172.169.192
hadoop310.172.169.193
hadoop410.172.169.194
5.配置ssh无密码登录
(1).在namenode机器上
cd/home/myhadoop
ssh-keygen-trsa
一路回车
(2).导入公钥到本机认证文件
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
(3).导入公钥到其他datanode节点认证文件
scp~/.ssh/authorized_keysmyhadoop@10.172.169.192:
/home/myhadoop/.ssh/authorized_keys
scp~/.ssh/authorized_keys myhadoop@10.172.169.193:
/home/myhadoop/.ssh/authorized_keys
scp~/.ssh/authorized_keys myhadoop@10.172.169.194:
/home/myhadoop/.ssh/authorized_keys
(4).修改所有机器上的文件权限
chmod700~/.ssh
chmod600~/.ssh/authorized_keys
(5).测试是否可以ssh无密码登录。
如果namenode可以无密码登录到各个datanode机器,则说明配置成功。
6.安装Hadoop2.2.0
(1)解压hadoop-2.2.0.jar,到/home/myhadoop/目录下。
(2)修改配置文件。
打开hadoop-2.2.0/etc/hadoop,修改里面的配置文件
(2.1)hadoop-env.sh
找到JAVA_HOME,把路径改为实际地址
(2.2)yarn-env.sh
找到JAVA_HOME,把路径改为实际地址
(2.3)slave
配置所有datanode节点,示例目前如下:
hadoop2
hadoop3
hadoop4
(2.4)core-site.xml
//hadoop1:
9000
(2.5)hdfs-site.xml
(2.6)mapred-site.xml
10020
19888
(2.7)yarn-site.xml
18040
18030
18025
18041
8088
(3)将上述文件配置好后,将hadoop-2.2.0文件复制到其余datanode机器上的相同路径下。
(4)修改/etc/profile文件
切换root用户
找到exportPATHUSERLOGNAMEMAILHOSTNAMEHISTSIZEHISTCONTROL,然后在其下添加配置路径:
#hadoopvariablesettings
exportHADOOP_HOME=/home/myhadoop/hadoop-2.2.0
exportHADOOP_COMMON_HOME=$HADOOP_HOME
exportHADOOP_HDFS_HOME=$HADOOP_HOME
exportHADOOP_MAPRED_HOME=$HADOOP_HOME
exportHADOOP_YARN_HOME=$HADOOP_HOME
exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
exportPATH=$PATH:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HADOOP_HOME/lib
配置完成后需要重启电脑
7.hadoop的启动与关闭
(1)hadoopnamenode的初始化,只需要第一次的时候初始化,之后就不需要了
cd/home/myhadoop/hadoop-2.2.0/bin
hdfsnamenode-format
启动:
在namenode机器上,进入/home/myhadoop/sbin
start-dfs.sh
start-yarn.sh
以上两个脚本可用start-all.sh代替。
mr-jobhistory-daemon.shstarthistoryserver
(3)关闭
stop-all.sh
mr-jobhistory-daemon.shstophistoryserver
8.web接口地址
启动hadoop后,在浏览器中输入地址查看
http:
//hadoop1:
50070
http:
//hadoop1:
8088
http:
//hadoop1:
19888
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CentOS 安装 Hadoop2x
![提示](https://static.bdocx.com/images/bang_tan.gif)