hadoop虚拟机安装文档Word格式文档下载.docx
- 文档编号:15857231
- 上传时间:2022-11-16
- 格式:DOCX
- 页数:11
- 大小:290.02KB
hadoop虚拟机安装文档Word格式文档下载.docx
《hadoop虚拟机安装文档Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《hadoop虚拟机安装文档Word格式文档下载.docx(11页珍藏版)》请在冰豆网上搜索。
12.在xshell中新建上述4台机器的ip进行连接,以用户root登录
13.验证主机名是否修改,查看4台机器的如下方位
14.进行ssh免登录配置
1)在每台机子上执行如下命令(使用xshell的全部会话功能)
提示yesorno输入yes
2)在每台机子打开如下文件夹
3)在每台机子当前文件夹下执行如下命令生成密钥
ssh-keygen
-t
dsa
-P
'
-f
~/.ssh/id_dsa
4)在master机子上执行:
catid_dsa.pub>
>
authorized_keys
5)在slave1执行:
scpid_dsa.pubmaster:
/root/.ssh/id_dsa.pub.s1
6)在slave2执行:
/root/.ssh/id_dsa.pub.s2
7)在slave3执行:
/root/.ssh/id_dsa.pub.s3
(执行14-5,6,7步时根据提示输入密码)
8)在master机子执行:
catid_dsa.pub.s1>
authorized_keys
catid_dsa.pub.s2>
authorized_keys
catid_dsa.pub.s3>
9)查看authorized_keys文件内容
10)将authorized_keys复制到其他机器上
scpauthorized_keysslave1:
/root/.ssh/
scpauthorized_keysslave2:
scpauthorized_keysslave3:
11)验证免登陆
在master机器上执行:
sshslave1连接slave1(首次连接会有提示,直接输入yes)
1.进入opt目录下安装hadoop和jdk
2.选择xftp上传tar包
3.拉取tar包进入master机器
4.解压安装包,依次执行如下命令
tar-xvfhadoop-2.6.0-cdh5.5.0.tar.gz
tar-xvfjdk-7u79-linux-x64.gz
mvhadoop-2.6.0-cdh5.5.0.tar.gzhadoop
mvjdk-7u79-linux-x64.gzjdk
5.修改环境变量
在最下方填入如下内容
exportJAVA_HOME=/opt/jdk/
exportCLASS_PATH=$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
exportPATH=$PATH:
$JAVA_HOME/bin
6.保存退出后执行命令
7.执行java-version查看jdk是否安装成功
8.hadoop安装
在每台机器上执行命令
mkdir-p/var/data/hadoop/hdfs/nn
mkdir-p/var/data/hadoop/hdfs/snn
mkdir-p/var/data/hadoop/hdfs/dn
mkdir-p/opt/hadoop/logs
9.进入hadoop配置文件目录
1)配置core-site.xml
#vimcore-site.xml
添加如下配置:
<
configuration>
property>
name>
fs.default.name<
/name>
value>
hdfs:
//master:
9000<
/value>
/property>
hadoop.http.staticuser.user<
hdfs<
hadoop.tmp.dir<
/hadoop/tmp<
description>
Abaseforothertemporarydirectories.<
/description>
/configuration>
2)配置hdfs-site.xml
同上,添加如下配置:
dfs.replication<
2<
dfs.namenode.name.dir<
file:
/var/data/hadoop/hdfs/nn<
fs.checkpoint.dir<
/var/data/hadoop/hdfs/snn<
fs.checkpoint.edits.dir<
dfs.datanode.data.dir<
/var/data/hadoop/hdfs/dn<
dfs.hosts.exclude<
/opt/hadoop/etc/hadoop/exclude<
dfs.permissions<
false<
3)配置mapred-site.xml(配置前执行cpmapred-site.xml.templatemapred-site.xml)
mapred.job.history.server.embedded<
true<
mapreduce.jobhistory.address<
master:
10020<
mapreduce.jobhistory.webapp.address<
50060<
mapreduce.jobhistory.intermediate-done-dir<
/mr-history/tmp<
mapreduce.jobhistory.done-dir<
/mr-history/done<
mapreduce.framework.name<
yarn<
4)配置yarn-site.xml
<
yarn.resourcemanager.address<
8032<
yarn.resourcemanager.scheduler.address<
8030<
yarn.resourcemanager.resource-tracker.address<
8035<
yarn.resourcemanager.admin.address<
8033<
yarn.resourcemanager.webapp.address<
8088<
yarn.resourcemanager.hostname<
master<
yarn.nodemanager.aux-services<
mapreduce_shuffle<
yarn.nodemanager.aux-services.mapreduce.shuffle.class<
org.apache.hadoop.mapred.ShuffleHandler<
5)修改slaves文件
slave1
slave2
slave3
6)修改hadoop-env.sh文件
10.复制hadoop和jdk到其他机器,在master上执行
scp-r/opt/*slave1:
/opt/
scp-r/opt/*slave2:
scp-r/opt/*slave3:
11.复制环境变量配置文件到其他机器,在master上执行
scp/etc/profileslave1:
/etc/
scp/etc/profileslave2:
scp/etc/profileslave3:
在s
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 虚拟机 安装 文档
![提示](https://static.bdocx.com/images/bang_tan.gif)