CentOS64位环境下Hadoop260分布式部署说明.docx
- 文档编号:12793339
- 上传时间:2023-04-22
- 格式:DOCX
- 页数:16
- 大小:625.21KB
CentOS64位环境下Hadoop260分布式部署说明.docx
《CentOS64位环境下Hadoop260分布式部署说明.docx》由会员分享,可在线阅读,更多相关《CentOS64位环境下Hadoop260分布式部署说明.docx(16页珍藏版)》请在冰豆网上搜索。
CentOS64位环境下Hadoop260分布式部署说明
1,准备工作
1,部署CentOS7.0(64位)环境;需配置静态IP地址。
1),设置虚拟机网络。
首先打开本机的”打开网络和共享中心”:
选择打开”本地连接”,并点击”属性”,勾选”允许其他网络用户通过此计算机的Internet连接来连接”,从下拉框中选择”VMwareNetworkAdapterVMnet8”:
虚拟机菜单->编辑->虚拟网络编辑:
选择WMnet8(NAT模式)
设置静态IP地址,进入CentOS系统,打开”系统工具”->”设置”->”网络”,选择”手动”,输入IP地址,地址和网关参考上图的子网IP及网关设置。
设置完毕之后,再开启就可以发现网络IP地址已经变为设置后的地址。
测试网络是否连通:
2),设置主机名。
在root下,打开/etc/hostname
改为namenode,保存。
2,Hadoop-2.6.0下载,下载地址:
2,安装Java
1),搜索jdk开发环境
yumsearchjdk
2),安装jdk
yuminstalljava-1.8.0-openjdk-devel.x86_64
3),检查是否安装成功
java-version
可以看见当前的jdk版本已经是”1.8.0_91”。
表示已经安装成功。
3,安装Hadoop
1),将第一步下载的hadoop版本安装包上传至/usr/local/文件夹,并解压。
cd/usr/local
gunziphadoop-2.6.0.tar.gz
tar-xvfhadoop-2.6.0.tar
2),配置环境
打开/etc/profile
在文件的最后位置,追加上如下配置:
#set java environment
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:
$JAVA_HOME/bin
export CLASSPATH=.:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-2.6.0
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop
export YARN_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop
exportPATH=$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$PATH
3),激活配置
source/etc/profile
4),创建hdfs相关目录
mkdir /home/hadoop/hd_space/tmp -p
mkdir/home/hadoop/hd_space/hdfs/name-p
mkdir/home/hadoop/hd_space/hdfs/data-p
mkdir/home/hadoop/hd_space/mapred/local-p
mkdir -p /home/hadoop/hd_space/mapred/system
chown -R hadoop:
hadoop /home/hadoop/hd_space/
chown -R hadoop:
hadoop /usr/local/hadoop-2.6.0
4,虚拟机克隆
1),选择菜单栏中的“虚拟机->管理->克隆”。
选择”创建完整克隆”。
2),更改虚拟机的网卡
打开克隆虚拟机,“网络适配器”->“高级”如下图:
MAC
datanode1:
HWADDR=00:
0C:
29:
10:
EC:
78
datanode2:
HWADDR=00:
0C:
29:
10:
EC:
79
3),更改主机名主机ip配置
分别用root登录克隆的两台机器,打开并编辑/etc/hostname,分别输入datanode1和datanode2。
打开/etc/sysconfig/network-scripts/ifcfg-eno16777756,修改相关内容:
datanode1:
HWADDR=00:
0C:
29:
10:
EC:
78 IPADDR=192.168.128.111
datanode2:
HWADDR=00:
0C:
29:
10:
EC:
79 IPADDR=192.168.128.112
4),重启3台虚拟机。
5,3台虚拟机建立互连
1),root登陆namenode,打开并编辑/etc/hosts,修改内容:
192.168.128.110namenode
192.168.128.111datanode1
192.168.128.112datanode2
2),将修改后的文件,分别拷贝到datanode1和datanode2
在终端执行如下指令:
scp/etc/hostsroot@192.168.128.111:
/etc/hosts
scp/etc/hostsroot@192.168.128.112:
/etc/hosts
3),通过SSH建立互连
用hadoop分别登陆namenode、datanode1、datanode2。
ssh-keygen -t rsa采用默认值3次回车。
在datanode1登录hadoop用户
scp /home/hadoop/.ssh/id_rsa.pub hadoop@namenode:
/home/hadoop/.ssh/id_rsa.pub.datanode1
在datanode2登录hadoop用户
scp /home/hadoop/.ssh/id_rsa.pub hadoop@namenode:
/home/hadoop/.ssh/id_rsa.pub.datanode2
在namenode登录hadoop用户
cd /home/hadoop/.ssh/
ll
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub.datanode1 >> authorized_keys
cat id_rsa.pub.datanode2 >> authorized_keys
scp ~/.ssh/authorized_keys hadoop@datanode1:
/home/hadoop/.ssh/authorized_keys
scp ~/.ssh/authorized_keys hadoop@datanode2:
/home/hadoop/.ssh/authorized_keys
chmod 600 /home/hadoop/.ssh/authorized_keys
备注:
无密码登陆,需要600权限(三台机器分别执行chmod 600 /home/hadoop/.ssh/authorized_keys )。
4),测试连通:
在namenode上分别执行:
sshdatanode1
sshdatanode2
在datanode1上执行sshnamenode和sshdatanode2
在datanode2一样参照上述命令进行验证。
6,Hadoop配置
修改路径 /usr/local/hadoop-2.5.2/etc/hadoop 下的配置文件。
1),编辑hadoop-env.sh
修改JAVA_HOME并保存 ”export JAVA_HOME=/usr/lib/jvm/java”
2),编辑yarn-env.sh
修改 JAVA_HOME并保存 export JAVA_HOME=/usr/lib/jvm/java
3),编辑core-site.xml
//namenode:
9000
4),编辑hdfs-site.xml
50090
50091
5),编辑mapred-site.xml
10020
19888
6),编辑yarn-site.xml
the valid service name should only contain a-zA-Z0-9_ and can not start with numbers
7),修改slaves
打开/usr/local/hadoop-2.6.0/etc/hadoop/slaves,将里面的localhost改为datanode1和datanode2
8),修改datanode1和datanode2的hadoop配置
将namenode修改的配置文件,拷贝到datanode1和datanode2
scp -r /usr/local/hadoop-2.6.0/etc/hadoop hadoop@datanode1:
/usr/local/hadoop-2.6.0/etc
scp -r /usr/local/hadoop-2.6.0/etc/hadoop hadoop@datanode2:
/usr/local/hadoop-2.6.0/etc
7,启动hadoop
1),格式化执行命令hdfsnamenode-format。
初次运行,首先要进行格式化(一次就够)
2),启动dfs及yarn
执行如下指令start-dfs.sh
执行如下指令start-yarn.sh
或者直接执行start-all.sh效果和上述两个命令一样。
相应的对应中止命令分别为
stop-dfs.sh
stop-yarn.sh
stop-all.sh
3),前台验证
http:
//192.168.128.110:
50070/dfshealth.jsp
可以看到LiveNodes个数为2
http:
//192.168.128.110:
8088/cluster
4),检查进程
检查进程 :
5),检查日志文件
/usr/local/hadoop-2.6.0/logs
6),删除日志
rm -rf /usr/local/hadoop-2.6.0/logs/*.*
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CentOS64 环境 Hadoop260 分布式 部署 说明