Hbase安装配置之集群安装篇Word格式文档下载.docx
- 文档编号:13533897
- 上传时间:2022-10-11
- 格式:DOCX
- 页数:10
- 大小:71.33KB
Hbase安装配置之集群安装篇Word格式文档下载.docx
《Hbase安装配置之集群安装篇Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《Hbase安装配置之集群安装篇Word格式文档下载.docx(10页珍藏版)》请在冰豆网上搜索。
运行
NTP
或者其他什么东西来同步你的时间.
如果你查询的时候或者是遇到奇怪的故障,可以检查一下系统时间是否正确!
设置集群各个节点时钟:
date-s
“2012-02-1314:
00:
00”
5)
ulimit
和
nproc:
Base是数据库,会在同一时间使用很多的文件句柄。
大多数linux系统使用的默认值1024是不能满足的,会导致FAQ:
WhydoIsee"
java.io.IOException...(Toomanyopenfiles)"
inmylogs?
异常。
还可能会发生这样的异常
2010-04-0603:
04:
37,542INFOorg.apache.hadoop.hdfs.DFSClient:
ExceptionincreateBlockOutputStreamjava.io.EOFException
Abandoningblockblk_-6935524980745310745_1391901
所以你需要修改你的最大文件句柄限制。
可以设置到10k.你还需要修改hbase用户的nproc,如果过低会造成OutOfMemoryError异常。
[2][3].
需要澄清的,这两个设置是针对操作系统的,不是Hbase本身的。
有一个常见的错误是Hbase运行的用户,和设置最大值的用户不是一个用户。
在Hbase启动的时候,第一行日志会现在ulimit信息,所以你最好检查一下。
可以先查看当前用户
ulimit:
ulimit-n
设置ulimit:
如果你使用的是Ubuntu,你可以这样设置:
在文件
/etc/security/limits.conf
添加一行,如:
hadoop
-
nofile
32768
可以把
替换成你运行Hbase和Hadoop的用户。
如果你用两个用户,你就需要配两个。
还有配nprochard和softlimits.如:
hadoopsoft/hardnproc32000
在
/etc/pam.d/common-session
加上这一行:
sessionrequired
pam_limits.so
否则在
/etc/security/limits.conf上的配置不会生效.
还有注销再登录,这些配置才能生效!
7)修改HadoopHDFSDatanode同时处理文件的上限:
dfs.datanode.max.xcievers
一个HadoopHDFSDatanode有一个同时处理文件的上限.这个参数叫
xcievers
(Hadoop的作者把这个单词拼错了).在你加载之前,先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096:
<
property>
<
name>
dfs.datanode.max.xcievers<
/name>
value>
4096<
/value>
/property>
对于HDFS修改配置要记得重启.
如果没有这一项配置,你可能会遇到奇怪的失败。
你会在Datanode的日志中看到xcieversexceeded,但是运行起来会报missingblocks错误。
例如:
02/12/1220:
10:
31INFOhdfs.DFSClient:
Couldnotobtainblockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYYfromanynode:
java.io.IOException:
Nolivenodescontaincurrentblock.Willgetnewblocklocationsfromnamenodeandretry...
8)继承hadoop安装的说明:
每个机子/etc/hosts
10.64.56.74
node2(master)
10.64.56.76
node1
(slave)
10.64.56.77
node3(slave)
9)继续使用hadoop用户安装
Chown–Rhadoop/usr/local/hbase
3.
分布式模式配置
3.1配置conf/hbase-env.sh
#exportJAVA_HOME=/usr/java/jdk1.6.0/
exportJAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26
#TellHBasewhetheritshouldmanageit'
sowninstanceofZookeeperornot.
exportHBASE_MANAGES_ZK=true
不管是什么模式,你都需要编辑
conf/hbase-env.sh来告知Hbase
java的安装路径.在这个文件里你还可以设置Hbase的运行环境,诸如heapsize和其他
JVM有关的选项,还有Log文件地址,等等.设置
JAVA_HOME指向
java安装的路径.
一个分布式运行的Hbase依赖一个zookeeper集群。
所有的节点和客户端都必须能够访问zookeeper。
默认的情况下Hbase会管理一个zookeep集群。
这个集群会随着Hbase的启动而启动。
当然,你也可以自己管理一个zookeeper集群,但需要配置Hbase。
你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK
来切换。
这个值默认是true的,作用是让Hbase启动的时候同时也启动zookeeper.
让Hbase使用一个现有的不被Hbase托管的Zookeep集群,需要设置
conf/hbase-env.sh文件中的HBASE_MANAGES_ZK
属性为false
sowninstanceofZookeeperornot.
exportHBASE_MANAGES_ZK=false
3.2配置conf/hbase-site.xml
1.<
configuration>
2.
3.
4.
5.
hbase.rootdir<
6.
7.
hdfs:
//node1:
49002/hbase<
8.
9.
description>
The
directory
shared
byRegionServers.
10.
11.
/description>
12.
13.
14.
15.
16.
17.
hbase.cluster.distributed<
18.
19.
true<
20.
21.
mode
the
clusterwill
be
in.
Possible
values
are
22.
23.
false:
standalone
and
pseudo-distributedsetups
with
managed
Zookeeper
24.
25.
true:
fully-distributed
unmanagedZookeeper
Quorum
(see
hbase-env.sh)
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
hbase.zookeeper.property.clientPort<
36.
37.
2222<
38.
39.
Property
fromZooKeeper'
s
config
zoo.cfg.
40.
41.
port
at
which
clients
willconnect.
42.
43.
44.
45.
46.
47.
48.
49.
hbase.zookeeper.quorum<
50.
51.
node1,node2,node3<
52.
53.
Comma
separated
listof
servers
in
ZooKeeper
Quorum.
54.
55.
For
example,"
,"
.
56.
57.
By
default
this
is
set
to
localhost
forlocal
pseudo-distributed
modes
58.
59.
of
operation.
a
fully-distributedsetup,
should
full
60.
61.
list
quorum
servers.
IfHBASE_MANAGES_ZK
hbase-env.sh
62.
63.
we
willstart/stop
on.
6
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hbase 安装 配置 集群
![提示](https://static.bdocx.com/images/bang_tan.gif)