hadoop与hbase与hive与oozie安装使用文档文档格式.docx

hadoop与hbase与hive与oozie安装使用文档文档格式.docx

《hadoop与hbase与hive与oozie安装使用文档文档格式.docx》由会员分享，可在线阅读，更多相关《hadoop与hbase与hive与oozie安装使用文档文档格式.docx（30页珍藏版）》请在冰豆网上搜索。

二、安装步骤14

1.为Hive创建mysql用户及数据库，并赋予足够的权限14

2.解压Hive安装包14

3.生成配置文件14

4.修改配置文件15

5.下载、安装mysql驱动15

6.验证Hive安装16

三、Hive的连接16

1.使用jdbc连接Hive数据库16

2使用HBase连接Hive数据库17

Oozie安装使用文档20

一、环境简介20

二、安装步骤20

1.解压Tomcat安装包20

2.验证Tomcat安装20

3.为Oozie创建mysql用户及数据库，并赋予足够的权限21

4.解压Oozie安装包21

5.添加环境变量21

6.修改配置文件21

7.安装mysql驱动22

8.在mysql上为Oozie创建数据库模式22

9.安装OozieWeb控制台22

10.启动Oozie22

11.查看Web控制台22

12.关闭Oozie23

三、使用范例23

1解压Oozie自带的examples包23

2.将解压出的examples文件夹上传至hadoop存储环境的根文件夹下23

3.修改Hadoop的core-site.xml配置文件23

4.修改map-reducejob的job.properties文件24

5.执行map-reducejob24

Hadoop-2.0HA解决方案安装文档

版本：

v1.0

发布日期：

2012年8月21日

1.安装NFS并配置共享目录

NFS是NetworkFileSystem的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.NFS允许一个系统在网络上与它人共享目录和文件。

通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。

CentOS系统中如何安装和配置nfs呢，下面我们就来学习一下方法。

首先我们来介绍一些会用到的CentOS系统命令。

1）安装

$yum-yinstallnfs-utils

2）创建共享目录

$suroot（切换到root用户，因为NFS只能被root用户使用）

$mkdir–p/smp/hadoop-cdh4

$chmod–R777/smp/hadoop-cdh4（因为是root用户创建,要给当前用户赋可读写的权限）

3）配置

$vi/etc/exports

在配置文件中添加你要共享的目录等信息，例如：

/smp/hadoop-cdh4*（rw,sync,no_root_squash）

内容具体参数说明如下：

[共享的目录][主机名或IP（参数,参数）]

其中参数是可选的，当不指定参数时，nfs将使用默认选项。

默认的共享选项是sync,ro,root_squash,no_delay。

CentOS系统中，当主机名或IP地址为空时，则代表共享给任意客户机提供服务。

当将同一目录共享给多个客户机，但对每个客户机提供的权限不同时，可以这样：

[共享的目录][主机名1或IP1（参数1,参数2）][主机名2或IP2（参数3,参数4）]

下面是一些NFS共享的常用参数：

1.ro只读访问

2.rw读写访问

3.sync所有数据在请求时写入共享

4.asyncNFS在写入数据前可以相应请求

5.secureNFS通过1024以下的安全TCP/IP端口发送

6.insecureNFS通过1024以上的端口发送

7.wdelay如果多个用户要写入NFS目录，则归组写入（默认）

8.no_wdelay如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。

9.hide在NFS共享目录中不共享其子目录

10.no_hide共享NFS目录的子目录

11.subtree_check如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）

12.no_subtree_check和上面相对，不检查父目录权限

13.all_squash共享文件的UID和GID映射匿名用户anonymous，适合公用目录。

14.no_all_squash保留共享文件的UID和GID（默认）

15.root_squashroot用户的所有请求映射成如anonymous用户一样的权限（默认）

16.no_root_squashroot用户具有根目录的完全管理访问权限

17.anonuid=xxx指定NFS服务器/etc/passwd文件中匿名用户的UID

anongid=xxx指定NFS服务器/etc/passwd文件中匿名用户的GID

4）启动

$/etc/init.d/nfsrestart

在你要共享的机器上同样使用root用户创建同步的目录并赋读写权限，并挂在该目录，具体的命令如下：

$mkdir–p/smp/avatarshare

$mount-v-tnfs-otcp,soft,retry=20,timeo=20,rsize=32768,wsize=32768hadoop04:

/smp/hadoop-cdh4/smp/hadoop-cdh4

说明：

hadoop04在此处为NFS服务器的主机名。

到此我们就将NFS配置并启动好了

5）安装zookeeper-3.4.2

a.下载zookeeper-3.4.2.tar.gz。

b.将tar包解压到指定目录。

tarzxvfzookeeper-3.4.2.tar.gz

c.修改zookeeper配置,将zookeeper安装目录下conf/zoo_sample.cfg重命名为zoo.cfg，修改其中的内容。

#Thenumberofmillisecondsofeachtick

tickTime=2000

#Thenumberofticksthattheinitial

#synchronizationphasecantake

initLimit=10

#Thenumberofticksthatcanpassbetween

#sendingarequestandgettinganacknowledgement

syncLimit=5

#thedirectorywherethesnapshotisstored.

#donotuse/tmpforstorage,/tmphereisjust

#examplesakes.

dataDir=/home/hadoop/zookeeper

#theportatwhichtheclientswillconnect

clientPort=2181

server.1=hadoop01:

2888:

3888

server.2=hadoop02:

server.3=hadoop03:

#

#Besuretoreadthemaintenancesectionofthe

#administratorguidebeforeturningonautopurge.

#http:

//zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#ThenumberofsnapshotstoretainindataDir

#autopurge.snapRetainCount=3

#Purgetaskintervalinhours

#Setto"

0"

todisableautopurgefeature

#autopurge.purgeInterval=1

在配置的dataDir目录下创建一个myid文件，里面写入一个0-255之间的一个随意数字，每个zookeeper上这个文件的数字要是不一样的。

修改下面的内容变成你自己的服务器地址

hadoop01、hadoop02和hadoop03在此处为用作Server的主机名。

分别启动所有的zookeeper

bin/zkServer.shstart

使用客户端连接zookeeper测试是否成功

bin/zkCli.sh-serverip地址:

clientPort

2.修改hadoop安装目录下etc/hadoop/core-site.xml

加入以下内容：

<

!

--fs.default.nameforMRV1,fs.defaultFSforMRV2（yarn）-->

property>

<

name>

fs.defaultFS<

/name>

--这个地方的值要和hdfs-site.xml文件中的dfs.federation.nameservices一致-->

value>

hdfs:

//dinglicom<

/value>

/property>

ha.zookeeper.quorum<

hadoop03:

2181,hadoop04:

2181,hadoop05:

2181<

hadoop03、hadoop04和hadoop05在此处为用作client的主机名。

3.修改hdfs-site.xml

--配置dfs.nameservices这个名称可以随意，如果同时还使用HDFS的Federation机制，则应该使用逗号分隔nameservices列表-->

dfs.federation.nameservices<

dinglicom<

dfs.namenode.name.dir<

/home/hadoop/hadoop-cdh4-nn<

--配置：

dfs.ha.namenodes.[nameserviceID].下面的dinglicom是nameserviceID，nn1和nn2是每台namenode的serviceId。

-->

dfs.ha.namenodes.dinglicom<

nn1,nn2<

--配置rpc通信地址：

dfs.namenode.rpc-address.[nameserviceID].-->

dfs.namenode.rpc-address.dinglicom.nn1<

hadoop01:

8020<

dfs.namenode.rpc-address.dinglicom.nn2<

hadoop02:

--配置http通信地址：

dfs.namenode.http-address.[nameserviceID].-->

dfs.namenode.http-address.dinglicom.nn1<

50070<

dfs.namenode.http-address.dinglicom.nn2<

hadoop01和hadoop02均为NameNode，且互为主备关系。

--配置dfs.namenode.shared.edits.dir是主备namenode共享目录，这里要求主备都可以读写，采用NFS实现共享-->

dfs.namenode.shared.edits.dir<

/smp/hadoop-cdh4<

--配置客户端failover，解决客户端故障转移-->

dfs.client.failover.proxy.provider.dinglicom<

org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider<

Fencing，

这里dfs.ha.fencing.methods实现的方法有两种sshfence和shell，我下面实现的是sshfence，dfs.ha.fencing.ssh.private-key-files这个是ssh的keyfile,用于在Active节点切换期间的安全机制，确保在任何时间都只有一个NameNode处于活跃状态。

在故障切换期间，haadmin命令确保在将其它NameNode转换为Active状态之前Active节点处在Standby状态，或其进程已被终止。

至少应该配置一个，因为没有默认配置，因此如果配置则HA机制将会失效。

如果要实现自定义的安全机制，参照org.apache.hadoop.ha.NodeFencer

dfs.ha.fencing.methods<

sshfence<

dfs.ha.fencing.ssh.private-key-files<

/home/smp/.ssh/id_rsa<

--启用失败自动切换-->

dfs.ha.automatic-failover.enabled<

true<

--配置zk集群信息-->

--datanode数据存放目录-->

dfs.data.dir<

/home/hadoop/hadoop-cdh4-dn<

4.NameNode格式化

bin/hadoopnamenode-format–clusteriddinglicom

5.HDFS（HA）的初始化

设定所有的必要配置项后，必须首先同步两个NameNode上的元数据。

如果是新建的HDFS集群，则应首先格式化一个NameNode，或者想把非HA集群转换为HA集群，按照dfs.namenode.name.dir、dfs.namenode.edits.dir的配置把当前NameNode节点的元数据目录复制到另一个NameNode.还应该确保共享存储目录下（dfs.namenode.shared.edits.dir）包含NameNode所有的元数据。

6.zkfc格式化

bin/hdfszkfc–formatZK

7.HDFS（HA）的管理

sbin/start-dfs.sh

默认以HA方式启动集群，启动后为Standby状态，使用如下命令设置Active节点（手动方式）

bin/hdfshaadmin–DFSHAadmin–transitionToActivenn1

如果让nn2成为变为activenn1变为standby，则

#bin/hdfshaadmin-DfSHAadmin-failovernn1nn2

如果失败（isnotreadytobecomeactive）则

#bin/hdfshaadmin-DfSHAadmin-failover--forceactivenn1nn2

具体参照bin/hdfshaadmin命令

8.验证hadoop-2.0HA高可用是否成功

验证Hadoop-2.0HA高可用是否成功可以通过两种方式实现。

安装图形界面的系统请采用方法1），安装非图形界面的系统请采用方法2）。

1）在地址栏输入：

http:

//hostname:

50070/dfshealth.jsp，按“Enter”键，检查是否出现如图1和图2中的界面。

图1NameNode主用节点登录界面

图2NameNode备用节点登录界面

2）使用JPS命令查看主备节点上是否存在进程NameNode和DFSZKFailoverController，当且仅当两个进程都存在时说明HA高可用成功。

HBase安装文档

一、环境简介

本次安装使用了四台已安装CentOS6.2的服务器，且已搭建好Hadoop环境。

主机名与ip分别为：

主机名ip

hadoop01192.168.6.2

hadoop02192.168.6.4

hadoop03192.168.6.6

hadoop04192.168.6.8

其中将hadoop01作为主节点，其余三个作为从节点与zookeeper。

HBase安装包使用hbase-0.94.6-cdh4.3.0.tar.gz。

二、安装步骤

1.解压安装包

$suhadoop

$cd（进入hadoop用户主目录，HBase安装包放置此目录下）

$tar-zxvfhbase-0.94.6-cdh4.3.0.tar.gz

2.修改配置文件hbase-site.xml

$cdhbase-0.94.6-cdh4.3.0（进入HBase安装目录）

$viconf/hbase-site.xml

在<

configuration>

与<

/configuration>

之间加入以下代码（红字部分根据实际情况进行替换）：

hbase.rootdir<

//hadoop01:

9000/hbase<

description>

区域服务器使用存储HBase数据库数据的目录<

/description>

hbase.cluster.distributed<

指定HBase运行的模式：

false:

单机模式或者为分布式模式

true:

全分布模式

hbase.zookeeper.quorum<

hadoop02,haddop03,hadoop04<

ZooKeeper集群服务器的hostname，必须为奇数<

hbase.zookeeper.property.clientPort<

2222<

PropertyfromZooKeeper'

sconfigzoo.cfg.

Theportatwhichtheclientswillconnect.

3.修改配置文件regionservers

$viconf/regionservers

将文件内容改为从节点的hostname：

hadoop02

hadoop03

hadoop04

4.修改配置文件hbase-evn.sh

$viconf/hbase-evn.sh

在此文件中配置各环境变量JAVA_HOME、HBASE_HOME、HADOOP_HOME分别为jdk、hbase、hadoop的安装目录。

exportHBASE_OPTS="

$HBASE_OPTS-XX:

+HeapDumpOnOutOfMemoryError-XX:

+UseConcMarkS

weepGC-XX:

+CMSIncrementalMode"

exportJAVA_HOME=/usr/java/jdk1.6.0_43

exportHBASE_MANAGES_ZK=true

#如果是true说明是使用Hbase本身集成的zookeeper服务

exportHBASE_HOME=/home/hadoop/hbase-0.94.6-cdh4.3.0

exportHAD