hadoop2伪分布式搭建经验分享Word文档下载推荐.docx
- 文档编号:22613247
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:22
- 大小:275.74KB
hadoop2伪分布式搭建经验分享Word文档下载推荐.docx
《hadoop2伪分布式搭建经验分享Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《hadoop2伪分布式搭建经验分享Word文档下载推荐.docx(22页珍藏版)》请在冰豆网上搜索。
如下图,找到
rootALL=(ALL)ALL
这行(应该在第98行,可以先按一下键盘上的
ESC
键,然后输入
:
98
(按一下冒号,接着输入98,再按回车键),可以直接跳到第98行),然后在这行下面增加一行内容:
hadoopALL=(ALL)ALL
(当中的间隔为tab),如下图所示:
为hadoop增加sudo权限
添加好内容后,先按一下键盘上的
wq
(输入冒号还有wq,这是vi/vim编辑器的保存方法),再按回车键保存退出就可以了。
最后注销当前用户(点击屏幕右上角的用户名,选择退出->
注销),在登陆界面使用刚创建的hadoop用户进行登陆。
(如果已经是hadoop用户,且在终端中使用
登录了root用户,那么需要执行
exit
退出root用户状态)
准备工作
使用hadoop用户登录后,还需要安装几个软件才能安装Hadoop。
CentOS使用yum来安装软件,需要联网环境,首先应检查一下是否连上了网络。
如下图所示,桌面右上角的网络图标若显示红叉,则表明还未联网,应点击选择可用网络。
检查是否联网
连接网络后,需要安装SSH和Java。
安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到SSH登陆(类似于远程登陆,你可以登录某台Linux主机,并且在上面运行命令),一般情况下,CentOS默认已安装了SSHclient、SSHserver,打开终端执行如下命令进行检验:
rpm-qa|grepssh
如果返回的结果如下图所示,包含了SSHclient跟SSHserver,则不需要再安装。
检查是否安装了SSH
若需要安装,则可以通过yum进行安装(安装过程中会让你输入[y/N],输入y即可):
sudoyuminstallopenssh-clients
sudoyuminstallopenssh-server
接着执行如下命令测试一下SSH是否可用:
sshlocalhost
此时会有如下提示(SSH首次登陆提示),输入yes。
然后按提示输入密码hadoop,这样就登陆到本机了。
测试SSH是否可用
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先输入
退出刚才的ssh,就回到了我们原先的终端窗口,然后利用ssh-keygen生成密钥,并将密钥加入到授权中:
exit#退出刚才的sshlocalhost
cd~/.ssh/#若没有该目录,请先执行一次sshlocalhost
ssh-keygen-trsa#会有提示,都按回车就可以
catid_rsa.pub>
>
authorized_keys#加入授权
chmod600./authorized_keys#修改文件权限
~的含义
在Linux系统中,~代表的是用户的主文件夹,即“/home/用户名”这个目录,如你的用户名为hadoop,则~就代表“/home/hadoop/”。
此外,命令中的#后面的文字是注释。
此时再用
sshlocalhost
命令,无需输入密码就可以直接登陆了,如下图所示。
SSH无密码登录
安装Java环境
同样将jdk-8u66-windows-x64.rar解压到/usr/local下,并将解压后目录改名为jdk。
接着需要配置一下JAVA_HOME环境变量,为方便,我们在~/.bashrc中进行设置(扩展阅读:
设置Linux环境变量的方法和区别):
vim~/.bashrc
在文件最后面添加如下单独一行(指向JDK的安装位置),并保存:
exportJAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk
Shell
如下图所示:
设置JAVA_HOME环境变量
接着还需要让该环境变量生效,执行如下代码:
source~/.bashrc#使变量设置生效
设置好后我们来检验一下是否设置正确:
echo$JAVA_HOME#检验变量值
java-version
$JAVA_HOME/bin/java-version#与直接执行java-version一样
如果设置正确的话,$JAVA_HOME/bin/java-version
会输出java的版本信息,且和
java-version
的输出结果一样,如下图所示:
成功设置JAVA_HOME环境变量
这样,Hadoop所需的Java运行环境就安装好了。
安装Hadoop2
Hadoop2可以通过
或者
2.6.0版本,下载时请下载
hadoop-2.x.y.tar.gz
这个格式的文件,这是编译好的,另一个包含src的则是Hadoop源代码,需要进行编译才可使用。
下载时强烈建议也下载
hadoop-2.x.y.tar.gz.mds
这个文件,该文件包含了检验值可用于检查hadoop-2.x.y.tar.gz的完整性,否则若文件发生了损坏或下载不完整,Hadoop将无法正常运行。
本文涉及的文件均通过浏览器下载,默认保存在“下载”目录中(若不是请自行更改tar命令的相应目录)。
另外,如果你用的不是2.6.0版本,则将所有命令中出现的2.6.0更改为你所使用的版本。
1.cat~/下载/hadoop-2.6.0.tar.gz.mds|grep'
MD5'
#列出md5检验值
2.#head-n6~/下载/hadoop-2.7.1.tar.gz.mds#2.7.1版本格式变了,可以用这种方式输出
3.md5sum~/下载/hadoop-2.6.0.tar.gz|tr"
a-z"
"
A-Z"
#计算md5值,并转化为大写,方便比较
若文件不完整则这两个值一般差别很大,可以简单对比下前几个字符跟后几个字符是否相等即可,如下图所示,如果两个值不一样,请务必重新下载。
检验文件完整性
我们选择将Hadoop安装至/usr/local/中:
1.sudotar-zxf~/下载/hadoop-2.6.0.tar.gz-C/usr/local#解压到/usr/local中
2.cd/usr/local/
3.sudomv./hadoop-2.6.0/./hadoop#将文件夹名改为hadoop
4.sudochown-Rhadoop:
hadoop./hadoop#修改文件权限
Hadoop解压后即可使用。
输入如下命令来检查Hadoop是否可用,成功则会显示Hadoop版本信息:
1.cd/usr/local/hadoop
2../bin/hadoopversion
相对路径与绝对路径的区别
请务必注意命令中的相对路径与绝对路径,本文后续出现的
./bin/...,./etc/...
等包含./的路径,均为相对路径,以/usr/local/hadoop为当前目录。
例如在/usr/local/hadoop目录中执行
./bin/hadoopversion
等同于执行
/usr/local/hadoop/bin/hadoopversion。
可以将相对路径改成绝对路径来执行,但如果你是在主文件夹~中执行
./bin/hadoopversion,执行的会是
/home/hadoop/bin/hadoopversion,就不是我们所想要的了。
Hadoop单机配置(非分布式)
Hadoop默认模式为非分布式模式,无需进行其他配置即可运行。
非分布式即单Java进程,方便进行调试。
现在我们可以执行例子来感受下Hadoop的运行。
Hadoop附带了丰富的例子(运行
./bin/hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar
可以看到所有例子),包括wordcount、terasort、join、grep等。
在此我们选择运行grep例子,我们将input文件夹中的所有文件作为输入,筛选当中符合正则表达式
dfs[a-z.]+
的单词并统计出现的次数,最后输出结果到output文件夹中。
2.mkdir./input
3.cp./etc/hadoop/*.xml./input#将配置文件作为输入文件
4../bin/hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jargrep./input./output'
dfs[a-z.]+'
5.cat./output/*#查看运行结果
若运行出错,如出现如下图提示:
运行Hadoop实例时可能会报错
若出现提示“WARNutil.NativeCodeLoader:
Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicable”,该WARN提示可以忽略,不会影响Hadoop正常运行(可通过编译Hadoop源码解决,解决方法请自行搜索)。
若出现提示“INFOmetrics.MetricsUtil:
UnabletoobtainhostName.UnknowHostException”,这需要执行如下命令修改hosts文件,为你的主机名增加IP映射:
1.sudovim/etc/hosts
主机名在终端窗口标题里可以看到,或执行命令
hostname
查看,如下图所示,在最后面增加一行“127.0.0.1dblab”:
(你的IP地址+你的主机名)
设置主机名的IP映射
保存文件后,重新运行hadoop实例,若执行成功的话会输出很多作业的相关信息,最后的输出信息如下图所示。
作业的结果会输出在指定的output文件夹中,通过命令
cat./output/*
查看结果,符合正则的单词dfsadmin出现了1次:
Hadoop例子输出结果
注意,Hadoop默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将
./output
删除。
1.rm-r./output
Hadoop伪分布式配置
机名增加IP映射:
sudovim/etc/hosts
查看,如下图所示,在最后面增加一行:
你的IP地址+你的主机名
Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。
在设置Hadoop伪分布式配置前,我们还需要设置HADOOP环境变量,执行如下命令在~/.bashrc中设置:
1.vim~/.bashrc
在文件最后面增加如下内容:
#HadoopEnvironmentVariables
exportHADOOP_HOME=/usr/local/hadoop
exportHADOOP_INSTALL=$HADOOP_HOME
exportHADOOP_MAPRED_HOME=$HADOOP_HOME
exportHADOOP_COMMON_HOME=$HADOOP_HOME
exportHADOOP_HDFS_HOME=$HADOOP_HOME
exportYARN_HOME=$HADOOP_HOME
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
exportPATH=$PATH:
$HADOOP_HOME/sbin:
$HADOOP_HOME/bin
保存后,不要忘记执行如下命令使配置生效:
source~/.bashrc
这些变量在启动Hadoop进程时需要用到,不设置的话可能会报错(这些变量也可以通过修改./etc/hadoop/hadoop-env.sh实现)。
Hadoop的配置文件位于
/usr/local/hadoop/etc/hadoop/
中,伪分布式需要修改2个配置文件
core-site.xml
和
hdfs-site.xml
。
Hadoop的配置文件是xml格式,每个配置以声明property的name和value的方式来实现。
修改配置文件
(通过gedit编辑会比较方便:
vim./etc/hadoop/core-site.xml),将当中的
<
configuration>
/configuration>
XML
修改为下面配置:
1.<
2.<
property>
3.<
name>
hadoop.tmp.dir<
/name>
4.<
value>
file:
/usr/local/hadoop/tmp<
/value>
5.<
description>
Abaseforothertemporarydirectories.<
/description>
6.<
/property>
7.<
8.<
fs.defaultFS<
9.<
hdfs:
//localhost:
9000<
10.<
11.<
同样的,修改配置文件
hdfs-site.xml:
dfs.replication<
1<
dfs.namenode.name.dir<
/usr/local/hadoop/tmp/dfs/name<
dfs.datanode.data.dir<
12.<
/usr/local/hadoop/tmp/dfs/data<
13.<
14.<
修改配置文件:
master(在同一目录下)
将内部的localhost改成主机名。
这一步很关键,找master的时候就直接找主机了。
配置完成后,执行NameNode的格式化:
./bin/hdfsnamenode-format
成功的话,会看到“successfullyformatted”和“Exittingwithstatus0”的提示,若为“Exittingwithstatus1”则是出错。
执行NameNode格式化
接着开启
NaneNode
DataNode
守护进程:
./sbin/start-dfs.sh
若出现如下SSH的提示“Areyousureyouwanttocontinueconnecting”,输入yes即可。
首次启动Hadoop时的SSH提示
启动时可能会有WARN提示“WARNutil.NativeCodeLoader…”如前面提到的,这个提示不会影响正常使用。
启动完成后,可以通过命令
jps
来判断是否成功启动,若成功启动则会列出如下进程:
“NameNode”、”DataNode”和SecondaryNameNode(如果SecondaryNameNode没有启动,请运行sbin/stop-dfs.sh关闭进程,然后再次尝试启动尝试)。
如果没有NameNode或DataNode,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。
通过jps查看启动的Hadoop进程
通过查看启动日志分析启动失败原因
有时Hadoop无法正确启动,如NameNode进程没有顺利启动,这时可以查看启动日志来排查原因,注意几点:
∙启动时会提示形如“dblab:
startingnamenode,loggingto/usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.out”,其中dblab对应你的主机名,但启动的日志信息是记录在/usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.log中,所以应该查看这个后缀为
.log
的文件;
∙每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,看下记录的时间就知道了。
∙一般出错的提示在最后面,也就是写着Fatal、Error或者JavaException的地方。
∙可以在网上搜索一下出错信息,看能否找到一些相关的解决方法。
成功启动后,可以访问Web界面
http:
50070
查看NameNode和Datanode信息,还可以在线查看HDFS中的文件。
Hadopp的Web界面
运行Hadoop伪分布式实例
上面的单机模式,grep例子读取的是本地数据,伪分布式读取的则是HDFS上的数据。
要使用HDFS,首先需要在HDFS中创建用户目录:
./bin/hdfsdfs-mkdir-p/user/hadoop
接着将./etc/hadoop中的xml文件作为输入文件复制到分布式文件系统中,即将/usr/local/hadoop/etc/hadoop复制到分布式文件系统中的/user/hadoop/input中。
我们使用的是hadoop用户,并且已创建相应的用户目录/user/hadoop,因此在命令中就可以使用相对路径如input,其对应的绝对路径就是/user/hadoop/input:
./bin/hdfsdfs-mkdirinput
./bin/hdfsdfs-put./etc/hadoop/*.xmlinput
复制完成后,可以通过如下命令查看HDFS中的文件列表:
./bin/hdfsdfs-lsinput
伪分布式运行MapReduce作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地input文件夹,输出结果output文件夹都删掉来验证这一点)。
./bin/hadoopjar./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jargrepinputoutput'
查看运行结果的命令(查看的是位于HDFS中的输出结果):
./bin/hdfsdfs-catoutput/*
结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。
Hadoop伪分布式运行grep的结果
我们也可以将运行结果取回到本地:
rm-r./output#先删除本地的output文件夹(如果存在)
./bin/hdfsdfs-getoutput./output#将HDFS上的output文件夹拷贝到本机
cat./output/*
Hadoop运行程序时,输出目录不能存在,否则会提示错误“org.apache.hadoop.mapred.FileAlreadyExistsException:
Outputdirectoryhdfs:
//localhos
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop2 分布式 搭建 经验 分享