在UbuntuCentos上部署Hadoop2X集群.docx
- 文档编号:5813199
- 上传时间:2023-01-01
- 格式:DOCX
- 页数:28
- 大小:2.87MB
在UbuntuCentos上部署Hadoop2X集群.docx
《在UbuntuCentos上部署Hadoop2X集群.docx》由会员分享,可在线阅读,更多相关《在UbuntuCentos上部署Hadoop2X集群.docx(28页珍藏版)》请在冰豆网上搜索。
在在UbuntuCentos上部署上部署Hadoop2X集群集群在Ubuntu/Centos上部署Hadoop2.X集群一、用虚拟机模拟三台服务器2二、添加Hadoop用户2三、修改主机名4四、修改host文件4五、添加无密码SSH服务4六、节点间使用SSH连接6八、下载解压Hadoop8九、Hadoop配置文件8十、启动Hadoop11十一、查看Hadoop的Web管理窗口12十二、运行实例WordCount14【转载博客】19【问题集锦】20一、用虚拟机模拟三台服务器一、用虚拟机模拟三台服务器创建三台虚拟机并分别设置其独立静态IP1.1设置虚拟机网络连接方式将虚拟机网卡和主机之间的方式设置为桥接模式1.2设置静态IP打开文件/etc/sysconfig/network-scrip/ifcfg-eth0DEVICE=”eth0”BOOTPROTO=staticIPADDR=”本虚拟机静态IP”GATEWAY=”默认网关”NETMASK=”子网掩码”ONBOOT=”yes”1.3重启网络服务命令servicenetworkrestart二、添加二、添加Hadoop用户用户2.1创建hadoop用户组(在centos上需要将addgroup改为groupadd)2.2创建hadoop用户(在centos需要将adduser改为useradd,并设置密码为hadoop)2.3给hadoop用户添加权限,打开/etc/sudoers文件(centos可以直接使用vi代替gedit)在rootALL=(ALL:
ALL)ALL后添加hadoopALL=(ALL:
ALL)ALL三、修改主机名三、修改主机名集群中需要给每台机器取个不同的名字。
Ubuntu中机器名由/etc/hostname文件决定。
3.1打开/etc/hostname文件3.2回车后就打开/etc/hostname文件了,将/etc/hostname文件中的ubuntu改为你想取的机器名,如master、slave1、slave2。
3.3重启系统(reboot)后生效。
(如果是centos,则需要修改/etc/sysconfig/network文件)4、修改、修改host文件文件将集群中各主机名对应的IP添加到每台主机的host文件中五、添加无密码五、添加无密码SSH服务服务5.1安装openssh-server(注:
自动安装openssh-server时,可能会进行不下去,可以先进行如下操作:
)更新的快慢取决于网速,如果中途因为时间过长中断了更新(ctrl+z),当再次更新时,会更新不了,报错为:
“Ubuntu无法锁定管理目录(/var/lib/dpkg/),是否有其他进程占用它?
“需要如下操作操作完成后继续执行第1步如果是centos则使用yum代替apt-get5.2生成RSA对称密码回车后会在/.ssh/下生成两个文件:
id_rsa是私钥id_rsa.pub是公钥5.3进入/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中5.4本机测试(注:
当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。
)【切记】SSH中密钥文件的权限值必须都设为600sudochmod600/home/hadoop/.ssh/*六、节点间六、节点间使用使用SSH连接连接6.1将各节点的id_rsa.pub公钥拷贝到各节点的authorized_keys内,就可以实现各节点之间的无SSH密码通讯6.2测试连接关于SSH的通讯原理,这里不做详述,有兴趣的话可以看看博客http:
/介绍的很详细的样子七、安装JDK我们选择的是jdk1.6.0_30版本,安装文件名为jdk-6u30-linux-i586.bin.7.1复制jdk到安装目录我们指定的安装目录是:
/usr/local/java,先创建一个java文件夹再将bin文件拷贝进去7.2安装jdk切换到root用户下(注:
如果因忘记密码而认证失败,可以先修改root用户的密码,再执行)运行jdk-6u30-linux-i586.bin(注:
如果遇到权限问题,可以先更改jdk-6u30-linux-i586.bin权限)更改权限后再执行上一步,当看到下图情况时,说明你安装成功了。
这时在/usr/local/java目录下就多了一个jdk1.6.0_30文件夹7.3配置环境变量
(1)打开/etc/profile文件
(2)添加变量如下:
#/etc/profile:
system-wide.profilefilefortheBourneshell(sh
(1)#andBournecompatibleshells(bash
(1),ksh
(1),ash
(1),.).#setjavaenvironmentexportJAVA_HOME=/usr/local/java/jdk1.6.0_30exportJRE_HOME=/usr/local/java/jdk1.6.0_30/jreexportCLASSPATH=.:
$JAVA_HOME/lib:
$JRE_HOME/lib:
$CLASSPATHexportPATH=$JAVA_HOME/bin:
$JRE_HOME/bin:
$JAVA_HOME:
$PATH(注:
为了以后集群工作的方便,这里建议每台机器的java环境最好一致。
)一般更改/etc/profile文件后,需要重启机器才能生效。
这里介绍一种不用重启使其生效的方法(3)查看java环境变量是否配置成功八、下载解压八、下载解压Hadoop官网下载http:
/www.apache.org/dyn/closer.cgi/hadoop/core/hadoop集群中每个机器上面的配置基本相同,所以我们先在master上面进行配置部署,然后再复制到其他节点。
所以这里的安装过程相当于在每台机器上面都要执行。
【注意】:
master和slaves安装的hadoop路径要完全一样,用户和组也要完全一致解压文件到/usr路径下,并重命名tarzxvfhadoop-2.2.0_x64.tar.gz/usr/mvhadoop-2.2.0hadoop(解压命令在Ubuntu是tar-zxfxxx.tar.gz,centos是tarzxvfxxx.tar.gz)九、九、Hadoop配置文件配置文件9.1创建必要文件夹在master本地文件系统创建以下文件夹:
/dfs/name/dfs/data/tmp注意文件所属用户及用户组。
如果不在新建的用户组下面,可以使用chown命令来修改:
(chmod和chown命令的用法http:
/7个/hadoop-2.2.0/etc/hadoop/hadoop-env.sh/hadoop-2.2.0/etc/hadoop/yarn-env.sh/hadoop-2.2.0/etc/hadoop/slaves/hadoop-2.2.0/etc/hadoop/core-site.xml/hadoop-2.2.0/etc/hadoop/hdfs-site.xml/hadoop-2.2.0/etc/hadoop/mapred-site.xml/hadoop-2.2.0/etc/hadoop/yarn-site.xml以上文件有些默认不存在的,可以复制相应的.template文件获得9.3配置文件1:
hadoop-env.sh修改JAVA_HOME值(exportJAVA_HOME=/usr/jdk1.7)9.4配置文件2:
yarn-env.sh修改JAVA_HOME值(exportJAVA_HOME=/usr/jdk1.7)9.5配置文件3:
slaves(这个文件里面保存所有slave节点)写入以下内容:
slave1slave29.6配置文件4:
core-site.xmlfs.defaultFShdfs:
/master:
8020io.file.buffer.size131072hadoop.tmp.dirfile:
/home/aboutyun/tmpAbaseforothertemporarydirectories.hadoop.proxyuser.aboutyun.hosts*hadoop.proxyuser.aboutyun.groups*9.7配置文件5:
hdfs-site.xmldfs.namenode.secondary.http-addressmaster:
9001dfs.namenode.name.dirfile:
/home/aboutyun/dfs/namedfs.datanode.data.dirfile:
/home/aboutyun/dfs/datadfs.replication3dfs.webhdfs.enabledtrue9.8配置文件6:
mapred-site.xmlmapreduce.framework.nameyarnmapreduce.jobhistory.addressmaster:
10020mapreduce.jobhistory.webapp.addressmaster:
198889.9配置文件7:
yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addressmaster:
8032yarn.resourcemanager.scheduler.addressmaster:
8030yarn.resourcemanager.resource-tracker.addressmaster:
8031yarn.resourcemanager.admin.addressmaster:
8033yarn.resourcemanager.webapp.addressmaster:
80889.10将配置文件复制到其他节点上面配置完毕,我们基本上完成了90%了剩下就是复制。
我们也可以把整个hadoop复制过去(注意slaves文件不一样)【注意】拷贝配置文件的时候修改文件所有者sudochownhadoopmapred-site.xml【记得】最后检查一下cathadoop-env.shcatyarn-env.shcatslavescatcore-site.xmlcathdfs-site.xmlcatmapred-site.xmlcatyarn-site.xml9.11在每台服务器内配置环境变量exportPATH=$PATH:
/usr/local/hadoop/bin/exportPATH=$PATH:
/usr/local/hadoop/sbin/十、启动十、启动Hadoop10.1格式化namenodehdfsnamenodeformat或则hadoopnamenodeformat10.2启动hdfsstart-dfs.sh此时在master上面运行的进程有:
namenodesecondarynamenodeslave节点上面运行的进程有:
datanode10.3启动yarnstart-yarn.sh我们看到如下效果:
master有如下进程:
slave1有如下进程此时hadoop集群已全部配置完成!
十一、查看十一、查看Hadoop的的Web管理窗口管理窗口11.1ResourceManager介绍:
运行在主节点master上网址:
http:
/master:
8088/配置文件:
yarn-site.xmlyarn.resourcemanager.webapp.addressmaster:
8088【注】如果没有配置hosts,master将无法解析要么你直接输入IP替代master,要么你就配置一下hosts,都很简单Hosts文件地址C:
WindowsSystem32driversetc修改完后,正常的时候你会在浏览器里看到如下图11.2HDFS集群状态网址:
http:
/master:
50070/11.3NodeManager介绍:
运行在从节点上网址:
http:
/slave1:
8042/11.4JobHistoryServer启动:
mr-jobhistory-daemon.shstarthistoryserver网址:
http:
/master:
19888/配置:
mapreduce.jobhistory.webapp.address十二、运行实例十二、运行实例WordCount12.1找到examples例子在/hadoop/share/hadoop/mapreduce下找到hadoop-mapreduce-examples-2.2.0.jar12.2运行前的准备工作我们需要需要做一下运行需要的工作,比如输入输出路径,上传什么文件等。
先在HDFS创建几个数据目录:
hadoopfs-mkdir-p/data/wordcounthadoopfs-mkdir-p/output/新建文件inputWordvi/usr/inputWord新建完毕,查看内容:
cat/usr/inputWord目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,任务的结果输出到/output/wordcount目录中。
将本地文件上传到HDFS中:
hadoopfs-put/usr/inputWord/data/wordcount/查看上传后的文件情况hadoopfs-ls/data/wordcount查看文件的内容hadoopfs-text/data/wordcount/inputWord12.3运行WordCount例子hadoopjar/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/data/wordcount/output/wordcount可以看到控制台输出程序运行的信息:
aboutyunmaster:
$hadoopjar/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/data/wordcount/output/wordcount14/05/1410:
33:
33INFOclient.RMProxy:
ConnectingtoResourceManageratmaster/172.16.77.15:
803214/05/1410:
33:
34INFOinput.FileInputFormat:
Totalinputpathstoprocess:
114/05/1410:
33:
34INFOmapreduce.JobSubmitter:
numberofsplits:
114/05/1410:
33:
34INFOConfiguration.deprecation:
user.nameisdeprecated.Instead,usemapreduce.job.user.name14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.jarisdeprecated.Instead,usemapreduce.job.jar14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.output.value.classisdeprecated.Instead,usemapreduce.job.output.value.class14/05/1410:
33:
34INFOConfiguration.deprecation:
bine.classisdeprecated.Instead,usebine.class14/05/1410:
33:
34INFOConfiguration.deprecation:
mapreduce.map.classisdeprecated.Instead,usemapreduce.job.map.class14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.job.nameisdeprecated.Instead,usemapreduce.job.name14/05/1410:
33:
34INFOConfiguration.deprecation:
mapreduce.reduce.classisdeprecated.Instead,usemapreduce.job.reduce.class14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.input.dirisdeprecated.Instead,usemapreduce.input.fileinputformat.inputdir14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.output.dirisdeprecated.Instead,usemapreduce.output.fileoutputformat.outputdir14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.map.tasksisdeprecated.Instead,usemapreduce.job.maps14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.output.key.classisdeprecated.Instead,usemapreduce.job.output.key.class14/05/1410:
33:
34INFOConfiguration.deprecation:
mapred.working.dirisdeprecated.Instead,usemapreduce.job.working.dir14/05/1410:
33:
35INFOmapreduce.JobSubmitter:
Submittingtokensforjob:
job_1400084979891_000414/05/1410:
33:
36INFOimpl.YarnClientImpl:
Submittedapplicationapplication_1400084979891_0004toResourceManageratmaster/172.16.77.15:
803214/05/1410:
33:
36INFOmapreduce.Job:
Theurltotrackthejob:
http:
/master:
8088/proxy/application_1400084979891_0004/14/05/1410:
33:
36INFOmapreduce.Job:
Runningjob:
job_1400084979891_000414/05/1410:
33:
45INFOmapreduce.Job:
Jobjob_1400084979891_0004runninginubermode:
false14/05/1410:
33:
45INFOmapreduce.Job:
map0%reduce0%14/05/1410:
34:
10INFOmapreduce.Job:
map100%reduce0%14/05/1410:
34:
19INFOmapreduce.Job:
map100%reduce100%14/05/1410:
34:
19INFOmapreduce.Job:
Jobjob_1400084979891_0004completedsuccessfully14/05/1410:
34:
20INFOmapreduce.Job:
Counters:
43FileSystemCountersFILE:
Numberofbytesread=81FILE:
Numberofbyteswritten=158693FILE:
Numberofreadoperations=0FILE:
Numberoflargereadoperations=0FILE:
Numberofwriteoperations=0HDFS:
Numberofbytesread=175HDFS:
Numberofbyteswritten=51HDFS:
Numberofreadoperations=6HDFS:
Numberoflargereadoperations=0HDFS:
Numberofwriteoperations=2JobCountersLaunchedmaptasks=1Launchedreducetasks=1Data-localmaptasks=1Totaltimespentbyallmapsinoccupiedslots(ms)=23099Totaltimespentbyallreducesinoccupiedslots(ms)=6768Map-ReduceFrameworkMapinputrecords=5Mapoutputrecords=10Mapoutputbytes=106Mapoutputmaterializedbytes=81Inputsplitbytes=108Combineinputrecords=10Combineoutputrecords=6Reduceinputgroups=6Reduceshufflebytes=81Reduceinputrecords=6Reduceoutputrecords=6SpilledRecords=12ShuffledMaps=1FailedShuffles=0MergedMapoutputs=1GCtimeelapsed(ms)=377CPUtimespent(ms)=11190Physicalmemory(bytes)snapshot=284524544Virtualmemory(bytes)snapshot=2000748544Totalcommittedheapusa
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- UbuntuCentos 部署 Hadoop2X 集群