ambari自动化集群搭建xiaoleiming.docx
- 文档编号:7152760
- 上传时间:2023-01-21
- 格式:DOCX
- 页数:11
- 大小:904.30KB
ambari自动化集群搭建xiaoleiming.docx
《ambari自动化集群搭建xiaoleiming.docx》由会员分享,可在线阅读,更多相关《ambari自动化集群搭建xiaoleiming.docx(11页珍藏版)》请在冰豆网上搜索。
ambari自动化集群搭建xiaoleiming
Ambari管理集群工具安装及自动化搭建集群
第一步:
ambari的下载安装
1,设置ip和主机名,及映射,(ip可设置为动态,用net方式)
vim/etc/sysconfig/network
vi/etc/hosts
2,设置几台机器的时间为网络时间,保持一致,在起Hbase的时候regernserver会有时间30秒
3,关闭防火墙,及SElinux
iptables-F;iptables-X;
/etc/init.d/iptablessava;
/etc/init.d/iptablesrestart
setenforce0
#查看防火墙状态
serviceiptablesstatus;
#关闭防火墙
serviceiptablesstop;
#查看防火墙开机启动状态
chkconfigiptables--list
#关闭防火墙开机启动
chkconfigiptablesoff
4,配置免密码登陆:
ssh
ssh-keygen-trsa
ssh-copy-id-iire01.master(主机名(或者ip))
修改权限
chmod700/root/.ssh
chmod600/root/.ssh/authorized_keys
5,安装ambari
《1》下载数据仓库,并移动到/etc/yum.repos.d/ambari.repo(所有节点都需要下)
Wget-nvhttp:
//public-repo--O/etc/yum.repos.d/ambari.repo
《2》、安装epel仓库
[root@ccloud121~]#yuminstallepel-release
《3》#查看仓库列表,应该有HDP,EPEL,(没有话yumcleanall;yummakecache)
[root@ccloud121~]#yumrepolist
《4》通过yum安装amabaribits,这同时也会安装PostgreSQL,这个步骤要等一会,它需要上网下载,大概39M左右。
[root@ccloud121~]#yuminstallambari-server(只在主节点安装)
《5》运行ambari-serversetup,安装ambari-server,它会自动安装配置PostgreSQL,同时要求输入用户名和密码,如果按n,它用默认的用户名/密码值:
ambari-server/bigdata。
接着就开始下载安装JDK。
(无论自己是否安装jdk,ambari都自己下载,如果网路不好,可以把下载好的额jdk放到)
《6》安装完成后,就可以启动了
主节点:
ambari-serverstart和ambari-agentstart
子节点:
ambari-agentstart
第二步:
在页面启动ambari自动搭建集群
1登陆主节点8080端口:
ip:
8080,用admin/admin登陆
2选择hadoop版本
3选择对应的系统的版本
4,填写主机名,与映射及ssh的需要一致,填写master的私钥(id_rsa的内容),注意用户,不要勾选手动注册
5,等待注册节点
Success表示成功
ambari安装HortonworksHDP时在检测host时异常。
ThefollowinghostshaveTransparentHugePages(THP)enabled。
THPshouldbedisabledtoavoidpotentialHadoopperformanceissues
解决办法,在Linux下执行:
echonever>/sys/kernel/mm/redhat_transparent_hugepage/defrag
echonever>/sys/kernel/mm/redhat_transparent_hugepage/enabled
echonever>/sys/kernel/mm/transparent_hugepage/enabled
echonever>/sys/kernel/mm/transparent_hugepage/defrag
警告:
暂且没处理,应该不影响
1.TransparentHugePagesIssues
(1)
ThefollowinghostshaveTransparentHugePages(THP)enabled.THPshouldbedisabledtoavoidpotentialHadoopperformanceissues.
Issues
TransparentHugePages
Enabledon 2 hosts
2PackageIssues
(1)
Thefollowingpackagesshouldbeuninstalled
Package
ambari-log4j.noarch
1.7.0.169-1
Installedon 1 host
3ServiceIssues
(1)
Thefollowingservicesshouldbeup
Service
ntpd
Notrunningon 2 hosts
4
Thefollowingfilesandfoldersshouldnotexist
Path
/usr/lib/hadoop
Existson 1 host
6,选择所有hadoop集群需要用的框架
Ambari自动根据节点机器个数分配集群服务到各个节点机,可手动调整(下图)
全选各台机器上运行的服务,真正集群时,不全选,根据机器节点调配
点开带红色的,配置密码,为方便记忆,我全配的xiao
7填好密码后,部署
8等待ambari自动部署hadoop集群及上层框架,完成是33%左右,(过程很慢,会死掉,死掉就redeploy)或者看错误日志,用yum命令在终端初始化运行成功后会自动启动集群
下面就是不希望看到的状况:
在网络等原因下,总是出现
点红色箭头指向的地方,根据日志来运行相应的命令,手动初始化
复制下图蓝色区域
将复制的命令yum-d0-e0-yinstallhadoop_2_2_*-yarn中间部分去掉,-d0–e0为yuminstallhadoop_2_2_*-yarn到对应节点的终端上运行,最好保证终端没有yum的任务,
用psaux|grepyum查看,然后运行yuminstallhadoop_2_2_*-yarn,运行完后,再retry
下图表示有yum任务在运行
还有一种简单的出错处理方式,直接retry
9.安装完成是在33%,后面是自动化启动集群,如果启动有问题,后面可以尝试手动起服务有故障的服务。
启动完成后会loading,展现出来如图
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ambari 自动化 集群 搭建 xiaoleiming