虚拟机Ubuntu+Hadoop+hive安装教程.docx
- 文档编号:11065974
- 上传时间:2023-02-24
- 格式:DOCX
- 页数:28
- 大小:3.50MB
虚拟机Ubuntu+Hadoop+hive安装教程.docx
《虚拟机Ubuntu+Hadoop+hive安装教程.docx》由会员分享,可在线阅读,更多相关《虚拟机Ubuntu+Hadoop+hive安装教程.docx(28页珍藏版)》请在冰豆网上搜索。
虚拟机Ubuntu+Hadoop+hive安装教程
虚拟机安装Ubuntu14+Hadoop2.7+Hive教程
一、Ubuntu的安装
1.安装Ubuntu前期配置
打开VMware,Workstation10虚拟机,进入主页,点击【文件-新的建拟机】,选择自定义(高级)(C),点击下一步,如图:
确认信息无误,默认下一步:
选择【稍后安装操作系统】下一步:
然后根据实际情况选择【Linux】(Ubuntu是Linux系统),版本根据自己下载的选择,我这里用的是【Ubuntu64位】:
然后选择【虚拟机名称】和安装【位置】,下一步:
默认所有参数,然后下一步:
这里设置虚拟机的资源大小,默认:
这一步是设置网络类型,使用NAT,安装完成后就能和宿主机一样上网:
I/O选择默认:
磁盘类型默认:
选择磁盘,选择【创建新虚拟磁盘】,然后点击【下一步】
下一步
选择自定义硬件,
选择安装文件所在路径,然后点击【关闭】
最后点击【完成】,完成前期的配置:
2.Ubuntu安装
进入VMware首页,可以看到刚才新增的虚拟机“Ubuntu”点击【开启此虚拟机】:
Ubuntu开始安装,若鼠标在虚拟机中返回主机,按ctrl+alt:
这里选择【English】+【installubuntu】:
选择【continue】
选择eraserdiskandinstallubuntu:
确认完成后,进入下一阶段,地点选择【shanghai】
键盘布局都选择默认的English(US),【continue】:
设置主机用户名密码,【continue】,系统就自动安装了,静静地等待其完成:
完成安装:
3.安装VMwaretools
VMwaretools可以方便主机与宿机之间的文件交换,安装过程如下,点击【安装VMwaretools】:
在VMwareTools文件夹中可以看到相应的文件,
将VMwareTools-9.6.0-1294478.tar.gz 复制到/tmp文件夹中,$cpVMwareTools-9.6.0-1294478.tar.gz/tmp,如果报权限错误就给VMwareTools-9.6.0-1294478.tar.gz增加相应区县,解压$tarxvfVMwareTools-9.6.0-1294478.tar.gz,解压后生成文件夹:
vmware-tools-distrib
执行该文件夹中的vmware-install.pl
然后一路ENTER完成安装。
安装完成以后测试一下,复制成功:
二、Hadoop的安装
如果你安装Ubuntu的时候不是用的hadoop用户,那么需要增加一个名为hadoop的用户,并将密码设置为hadoop。
1.创建用户:
sudouseraddhadoop
设置hadoop密码:
$sudopasswdhadoop
创建hadopo用户主目录:
$sudomkdir/home/hadoop
赋权给hadoop用户:
$sudochownhadoop/home/hadoop
给hadoop用户赋权:
$sudouseraddhadoopsudo
2.JDK安装
下载安装jdk1.8,我提前下好的直接拷贝到虚拟机中:
新建目录usr/lib/java,把jdk拷贝到该目录中解压即可:
新建目录:
$sudomkdir/usr/lib/java
拷贝文件:
$sudocpjdk-8u60-linux-x64.tar.gz/usr/lib/java/
解压文件:
$sudotarxvfjdk-8u60-linux-x64.tar.gz
3.设置java环境变量
修改profile文件:
$sudovi/etc/profile
增加以下设置:
exportJAVA_HOME=/usr/lib/java/jdk1.8.0_60
exportPATH=$JAVA_HOME/bin:
$JAVA_HOME/jre/bin:
$PATH
exportCLASSPATH=$CLASSPATH:
.:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
使修改的profile生效:
source/etc/profile
使安装的jdk成为系统默认的jdk:
$sudoupdate-alternatives--install"/usr/bin/java""java""/usr/lib/java/jdk1.8.0_60/bin/java"300
$sudoupdate-alternatives--install"/usr/bin/javac""javac""/usr/lib/java/jdk1.8.0_60/bin//javac"300
$sudoupdate-alternatives--configjava
$sudoupdate-alternatives--configjavac
检查:
echo$JAVA_HOME
java–version
jps
看到这个结果说明已经成功。
4.ssh无密码登录设置
输入命令:
$sudoapt-getinstallssh,等待ssh安装。
输入$sshlocalhost,这时提示输入密码,登录后如下:
为了达到ssh无密码输入,我们需要输入以下命令:
$cd~/.ssh#如果没有该目录,先执行一次sshlocalhost
$ssh-keygen-trsa#一直按回车就可以
$cpid_rsa.pubauthorized_keys
还有一种方式(没有测试过):
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
$exportHADOOP\_PREFIX=/usr/local/hadoop
最后sshlocalhost时不需要输入密码,切换成功:
5.安装镜像备份工具rsync
执行命令:
$sudoapt-getinstallrsync,完成安装
6.修改网络配置
注释掉127.0.1.1ubuntu
添加新的映射10.0.0.81ubuntu
7.安装Hadoop
下载***hadoop-*.*.*.tar.gz文件,解压到hadoop目录下;
进入~/hadoop-2.7.0/etc/hadoop,修改配置文件:
etc/hadoop/hadoop-env.sh,添加JAVA_HOME、HADOOP_COMMON_HOME:
exportJAVA_HOME=/usr/lib/java/jdk1.8.0_60
exportHADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.1
配置环境变量:
sudonano/etc/environment
增加hadoop配置,将下面添加到变量PATH中
/home/hadoop/hadoop-2.7.1/bin:
/home/hadoop/hadoop-2.7.1/sbin:
nano编辑器的使用快捷键:
Ctrl+X 退出编辑器
Ctrl+K 剪切行
Ctrl+V 粘贴
Ctrl+/ 替换
Ctrl+W 查找
Ctrl+Y 上一屏幕
Ctrl+V 下一屏幕
Ctrl+P 向上移动一行
Ctrl+N 向下移动一行
Ctrl+F 向前移动光标一格
Ctrl+B 向后移动光标一格
Ctrl+G 调用帮助菜单
三、Hadoop的模式验证
1.本地模式验证
所谓的本地模式:
在运行程序的时候,比如wordcount是在本地磁盘运行的
上面已经配置完毕,我们对其测试,例子将Hadoop的配置文件作为输入文件,统计符合正则表达式dfs[a-z.]+的单词的出现次数。
输入命令:
$cd/home/hadoop/hadoop-2.7.1
$mkdirinput
$cpetc/Hadoop/*.xmlinput
$bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jargrepinputoutput'dfs[a-z.]+'
执行过程:
$catoutput/*
再次运行会提示出错,需要将./output删除。
2.伪分布模式验证
修改文件/home/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml,添加如下内容:
/usr/local/hadoop/tmp
//localhost:
9000
用于接收Client连接的RPC端口,用于获取文件系统metadata信息。
修改etc/hadoop/hdfs-site.xml,添加以下内容用于设置备份份数,这里设置为1份:
/usr/local/hadoop/tmp/dfs/name
/usr/local/hadoop/tmp/dfs/data
配置完成后,首先初始化文件系统HDFS:
bin/hdfsnamenode–format
若成功则会提示Exitingwithstatus0
Exittingwithstatus1:
则是出错。
若出错,可试着加上sudo,既 sudobin/hdfsnamenode-format 试试看。
开启NameNode和DataNode的守护进程:
sbin/start-dfs.sh
启动过程中遇到ssh的验证提示,直接输入yes通过:
启动成功后通过jps命令查看相应节点情况:
登录Web界面http:
//localhost:
50070来查看Hadoop的信息
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 虚拟机 Ubuntu Hadoop hive 安装 教程
![提示](https://static.bdocx.com/images/bang_tan.gif)