hadoop + zookeeper +hive + hbase安装学习共12页word资料.docx
- 文档编号:23636525
- 上传时间:2023-05-19
- 格式:DOCX
- 页数:19
- 大小:31.93KB
hadoop + zookeeper +hive + hbase安装学习共12页word资料.docx
《hadoop + zookeeper +hive + hbase安装学习共12页word资料.docx》由会员分享,可在线阅读,更多相关《hadoop + zookeeper +hive + hbase安装学习共12页word资料.docx(19页珍藏版)》请在冰豆网上搜索。
hadoop+zookeeper+hive+hbase安装学习共12页word资料
伪分布式安装Hadoop+zookeeper+hive+hbase安装配置
1.安装JDK,配置环境JAVA环境变量
exportJAVA_HOME=/usr/lib/java-1.6.0/jdk1.6.0_37
exportPATH=$PATH:
$JAVA_HOME/bin
exportCLASSPATH=$CLASSPATH:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
exportHADOOP_INSTALL=/usr/hadoop/hadoop-1.0.3
exportPATH=$PATH:
$HADOOP_INSTALL/bin
exportJAVA_HOME=/user/local/jdk1.6.0_27
exportJRE_HOME=/user/local/jdk1.6.0_27/jre
exportANT_HOME=/user/local/apache-ant-1.8.2
exportCLASSPATH=.:
$JAVA_HOME/lib:
$JRE_HOME/lib:
$CLASSPATH
2.安装Hadoop-1.0.3
2.1.下载hadoop文件,地址为:
http:
//hadoop.apache.org/coases.html,下载完成后解压hadoop-1.0.3.tar.gz
sudotar-xzfhadoop-1.0.3.tar.gz
2.2.配置Hadoop环境变量
exportHADOOP_INSTALL=/user/local/hadoop-1.0.3
exportPATH=$PATH:
$HADOOP_INSTALL/bin
激活profile文件:
[root@localhostetc]#chmod+xprofile
[root@localhostetc]#sourceprofile
[root@localhostetc]#hadoopversion
2.3.查看hadoop版本
[root@localhost~]#hadoopversion
Hadoop1.0.3
Subversionhttps:
//svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0-r1335192
CompiledbyhortonfoonTueMay820:
31:
25UTC2012
Fromsourcewithchecksume6b0c1e23dcf76907c5fecb4b832f3be
输入hadoopversion命令后输入下图,则安装hadoop成功
2.4.修改配置文件
a)解压hadoop-1.0.3/hadoop-core-1.0.3.jar
b)去解压后的hadoop-core-1.0.3文件夹下,复制文件core-default.xml,hdfs-default.xml,mapred-default.xml三个文件到hadoop-1.0.3/conf/下,删除hadoop-1.0.3/conf/文件夹下的core-site.xml,hdfs-site.xml,mapred-site.xml,将复制过来的三个文件的文件名中的default修改为site
c)在hadoop-1.0.3文件夹同级创建文件夹hadoop,打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点,修改为/user/local/${user.name}/hadoop/hadoop-${user.name},这样hadoop生成的文件会放入这个文件夹下.修改name节点为fs.default.name对应的value节点,修改为hdfs:
//localhost:
9000/
打开mapred-site.xml文件,修改property节点下name为mapred.job.tracker对应的的value,改为:
localhost:
9001
3.安装ssh
1.执行命令安装ssh:
sudoapt-getinstallssh
2.基于空口令创建一个新SSH密钥,以启用无密码登陆
a)ssh-keygen-trsa-P''-f~/.ssh/id_rsa
执行结果:
b)cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
3.测试
sshlocalhost
测试结果:
输入yes
再次输入sshlocalhost:
成功之后,就不需要密钥
4.格式化HDFS文件系统
输入指令:
hadoopnamenode–format
[root@localhost~]#hadoopnamenode–format
13/07/1714:
26:
41INFOnamenode.NameNode:
STARTUP_MSG:
STARTUP_MSG:
StartingNameNode
STARTUP_MSG:
host=localhost.localdomain/127.0.0.1
STARTUP_MSG:
args=[–format]
STARTUP_MSG:
version=1.0.3
STARTUP_MSG:
build=https:
//svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0-r1335192;compiledby'hortonfo'onTueMay820:
31:
25UTC2012
Usage:
javaNameNode[-format]|[-upgrade]|[-rollback]|[-finalize]|[-importCheckpoint]
13/07/1714:
26:
41INFOnamenode.NameNode:
SHUTDOWN_MSG:
SHUTDOWN_MSG:
ShuttingdownNameNodeatlocalhost.localdomain/127.0.0.1
5.启动和终止守护进程
启动和终止HDFS和MapReduce守护进程,键入如下指令
启动start-all.sh(start-dfs.sh,start-mapred.sh)
出错了,JAVA_HOMEisnotset
需要修改文件,打开hadoop-1.0.3/conf/hadoop-env.sh
将红线以内部分注释解开,修改为本机JAVA_HOME
再次执行启动命令start-all.sh
停止stop-all.sh(stop-dfs.sh,stop-mapred.sh)
到此,hadoop就已经安装完成了
6.Hadoop文件系统
6.1.查看hadoop所有块文件
执行命令:
hadoopfsck/-files–blocks
执行结果:
此结果显示,hadoop文件系统中,还没有文件可以显示
本机出错,出错原因:
datanode没有启动,具体见evernote笔记。
[root@localhost~]#hadoopfsck/-files–blocks
13/07/1714:
44:
15ERRORsecurity.UserGroupInformation:
PriviledgedActionExceptionas:
rootcause:
java.ConnectException:
Connectionrefused
Exceptioninthread"main"java.ConnectException:
Connectionrefused
atjava.PlainSocketImpl.socketConnect(NativeMethod)
atjava.PlainSocketImpl.doConnect(PlainSocketImpl.java:
351)
atjava.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:
211)
atjava.PlainSocketImpl.connect(PlainSocketImpl.java:
200)
atjava.SocksSocketImpl.connect(SocksSocketImpl.java:
366)
atjava.Socket.connect(Socket.java:
529)
atjava.Socket.connect(Socket.java:
478)
atsunworkClient.doConnect(NetworkClient.java:
163)
atsun.http.HttpClient.openServer(HttpClient.java:
388)
atsun.http.HttpClient.openServer(HttpClient.java:
523)
atsun.http.HttpClient.
227)
atsun.http.HttpClient.New(HttpClient.java:
300)
atsun.http.HttpClient.New(HttpClient.java:
317)
atsun.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:
970)
atsun.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:
911)
atsun.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:
836)
atsun.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:
1172)
atorg.apache.hadoop.hdfs.tools.DFSck$1.run(DFSck.java:
141)
atorg.apache.hadoop.hdfs.tools.DFSck$1.run(DFSck.java:
110)
atjava.security.AccessController.doPrivileged(NativeMethod)
atjavax.security.auth.Subject.doAs(Subject.java:
396)
atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
1121)
atorg.apache.hadoop.hdfs.tools.DFSck.run(DFSck.java:
110)
atorg.apache.hadoop.util.ToolRunner.run(ToolRunner.java:
65)
atorg.apache.hadoop.util.ToolRunner.run(ToolRunner.java:
79)
atorg.apache.hadoop.hdfs.tools.DFSck.main(DFSck.java:
182)
[root@localhost~]#
6.2.将文件复制到hadoop文件系统中
a)在hadoop文件系统中创建文件夹,执行命令:
hadoopfs-mkdirdocs
b)复制本地文件到hadoop文件系统中执行命令:
hadoopfs-copyFromLocaldocs/test.txt\
hdfs:
//localhost:
9000/user/docs/test.txt
c)复制hadoop文件系统中的文件回本地,并检查是否一致
复制:
hadoopfs-copyToLocaldocs/test.txtdocs/test.txt.bat
检查:
md5docs/test.txtdocs/text.txt.bat
检查结果若显示两个md5加密值相同,则文件内容相同。
d)查看HDFS文件列表
执行命令:
hadoopfs–ls
执行结果:
e)再次查看文件系统文件块
执行命令:
hadoopfsck/-files–blocks
执行结果如图:
此处为文件备份数量,可以调整,打开hadoop-1.0.3/conf/hdfs-site.xml文件,
此处修改文件备份数量
7.安装zookeeper
7.1.准备
zookeeper-3.4.3.tar.gz
下载地址:
http:
//apache.etoak/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz
7.2.安装zookeeper
执行命令:
tar–xzfzookeeper-3.4.3.tar.gz解压安装文件
7.3.环境变量
执行sudovim/etc/profile
打开后加入
exportZOOKEEPER_HOME=/user/local/zookeeper-3.4.3
exportPATH=$PATH:
$ZOOKEEPER_HOME/bin
执行命令source/etc/profile让环境变量生效
7.4.配置zookeeper
打开zookeeper/conf/zoo.cfg
###以下是文件内容
#zookeeper基本时间单元(毫秒)
tickTime=2000
#zookeeper存储持久数据的本地文件系统位置
dataDir=/user/local/xxx/zookeeper
#zookeeper用户监听客户端连接的端口
clientPort=2181
###文件内容结束
将$ZOOKEEPER_HOME/zookeeper-3.4.3.jar复制到
$HADOOP_INSTALL/lib目录下
换到zookeeper/bin/目录下
执行./zkServer.shstart
执行./zkServer.shstatus,
echostat|nc–q1localhost,
echostat|nclocalhost2181查看状态
执行echoruok|nclocalhost2181
执行结果为imok是Iamok的意思表示安装并启动成功
关闭zookeeper
./zkServer.shstop
8.安装Hive
8.1.准备
hive-0.9.0.tar.gz
下载地址:
http:
//fayea/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz
8.2.安装hive
执行命令tar–xzfhive-0.9.0.tar.gz解压安装文件
8.3.环境变量
执行sudovim/etc/profile
打开后加入
exportHIVE_HOME=/user/local/hbase-0.94.1
exportPATH=$PATH:
$HIVE_HOME/bin
执行命令source/etc/profile让环境变量生效
8.4.配置hive
进入$HIVE_HOME/bin下打开文件hive-conf.sh插入三行
exportHIVE_HOME=`dirname"$bin"`
exportHADOOP_INSTALL=/user/local/hadoop-1.0.3
exportJAVA_HOME=/user/local/jdk1.6.0_26
关闭文件后执行命令./hiveshell进入hive的shell模式
执行命令“showtables;”
hive语句后面必须跟随一个”;”不然命令无法执行,执行结果如下:
安装成功
Hive的语法和mysql的差不多,这里就不多写了
9.安装hbase
9.1.准备
hbase-0.94.1.tar.gz
下载地址:
http:
//labs.mop/apache-mirror/hbase/hbase-0.94.1/hbase-0.94.1.tar.gz
9.2.安装hbase
执行命令tar–xzfhbase-0.94.1.tar.gz解压安装文件
9.3.环境变量
执行sudovim/etc/profile
打开后加入
exportHBASE_HOME=/user/local/hbase-0.94.1
exportPATH=$PATH:
$HBASE_HOME/bin
执行命令source/etc/profile让环境变量生效
9.4.配置hbase
9.4.1.打开hbase/conf/hbase-env.sh加入如下内容
exportJAVA_HOME=/user/local/jdk1.6.0_26
exportHBASE_MANAGERS_ZK=false
exportHBASE_HOME=/user/local/hbase-0.94.1
exportHADOOP_INSTALL=/user/local/hadoop-1.0.3
修改HBASE_OPTS为:
exportHBASE_OPTS="$HBASE_OPTS-XX:
+HeapDumpOnOutOfMemoryError-XX:
+UseConcMarkSweepGC-XX:
+CMSIncrementalMode"
9.4.2.打开hbase/conf/hbase-site.xml加入如下内容
//localhost:
9000/hbase
60000
打开regionservers文件放入localhost
将$HBASE_HOME/hbase-0.94.1.jar复制到$HADOOP_INSTALL/lib下
重新启动hadoop执行start-all.sh
转入hbase/bin/目录下
执行./start-hbase.sh脚本,启动hbase
9.4.3.跟踪日志
进入hbase日志追踪,进入$HBASE_HOME/logs,执行命令:
tail-fhbase-master.log
如果启动一直出现下图所示日志,表示hadoop在安全模式下,需要关闭hadoop安全模式,
9.4.4.关闭hadoop安全模式命令:
hadoopdfsadmin-safemodeleave
关闭后,hbase会将会正常启动
9.4.5.启动成功后执行hbaseshell进去shell模式下
执行create‘test’,‘data’创建表。
执行结果如下:
执行list查询表,执行结果如下:
这样我们就安装成功了
9.5.HBase基本命令
a)常用命令
创建表:
Øcreate'table','family1','family2','familyN',………
执行结果如下:
table是表名称,family(1~N)为列族名称,每个列族下面可以有很多列。
0row(s)in1.0660seconds标识此命令返回结果0行,执行时间为1.0660秒。
插入数据:
Øput'table','row','family1:
column','value'
执行结果如下:
row为行名称,family:
column代表名称为famliy的列族下名称为column的列,column为列名称,value为此行此列的值
删除表之前必须先将表禁用,否则无法删除,命令如下
Ødisable'table'
Ødisable_all't.*'
删除表
Ødrop'table'
Ødrop_all't.*'
若不禁用表,直接执行删除,会出现如下图的执行结果:
此图中红线所括中的地方显示异常信息,表示此’table’表现在在可用状态,请先禁用它。
所以我们删除表之前必须执行禁用。
表可用命令
Øenable'table'
Øenable_all't.*'
9.6.其他命令
b)查看表信息
Ødescribe'table'
此图中左侧可以看出表信息,表名称,表列族名称。
右边有enabled,true标识此表未禁用,若为false标识此表已禁用,冻结后可用上方的解除禁用命令解除。
判断表是否被禁用:
Øis_disabled'table'
判断表是否可用:
Øis_enabled'table'
查看hbase中所有的表:
Ølist
查看表中数据行数
Øcount'table'
追加一个列族
Øalter'table','famliy4','famliy5','famliyN'…..
10.hive结合hbase使用
10.1.结合说明
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库
官方结合使用wiki地址
http:
//wiki.apache.org/hadoop/Hive/HBaseIntegration
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类(HiveStorageHandlers),大致意思如图所示
10.2.修改配置
复制$HBASE_HOME/hbase-0.94.1.jar,$HBASE_HOME/hbase-0.94.1-tests.jar和$ZOOKEEPER_HOM
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop zookeeper +hive hbase安装学习共12页word资料 hive hbase 安装 学习 12 word 资料
链接地址:https://www.bdocx.com/doc/23636525.html