Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx
- 文档编号:18856735
- 上传时间:2023-04-24
- 格式:DOCX
- 页数:24
- 大小:431.68KB
Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx
《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx》由会员分享,可在线阅读,更多相关《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx(24页珍藏版)》请在冰豆网上搜索。
Cloudera大数据平台环境搭建CDH5131傻瓜式说明书
Cloudera大数据平台环境搭建
(版)
版本
作者
郭维忠
发布日期
2018-03-10
Cloudera大数据平台环境搭建错误!
未定义书签。
(版)错误!
未定义书签。
1.基础环境.错误!
未定义书签。
.软件环境错误!
未定义书签。
.配置规划错误!
未定义书签。
.所需要的软件资源错误!
未定义书签。
.修改机器名(所有节点)错误!
未定义书签。
.设置防火墙(所有节点)错误!
未定义书签。
.配置免密码登录SSH错误!
未定义书签。
.关闭SELINUX(所有节点)错误!
未定义书签。
.修改Linux内核参数(所有节点).错误!
未定义书签。
.其他安装与配置(所有节点)错误!
未定义书签。
.配置NTP服务错误!
未定义书签。
.安装oracle(所有节点)错误!
未定义书签。
.Mysql安装(主节点)错误!
未定义书签。
2.安装CM错误!
未定义书签。
.传包,解包错误!
未定义书签。
.创建数据库错误!
未定义书签。
.创建用户错误!
未定义书签。
.制作本地YUM源错误!
未定义书签。
.拷贝jar包错误!
未定义书签。
.修改cloudera-scm-agent配置错误!
未定义书签。
.启动CMServer和Agent错误!
未定义书签。
.访问CM错误!
未定义书签。
3.安装CDH错误!
未定义书签。
.登录后界面错误!
未定义书签。
.选择CM版本错误!
未定义书签。
.指定主机错误!
未定义书签。
.选择CDH版本错误!
未定义书签。
出现“主机运行状态不良”错误错误!
未定义书签。
.检查主机正确性错误!
未定义书签。
.选择安装的服务错误!
未定义书签。
.角色分配错误!
未定义书签。
.数据库设置错误!
未定义书签。
测试连接报错:
错误!
未定义书签。
.群集设置错误!
未定义书签。
.开始安装错误!
未定义书签。
.安装完成错误!
未定义书签。
警告信息:
错误!
未定义书签。
4.常见错误.错误!
未定义书签。
.初始化数据库错误:
错误!
未定义书签。
.未能连接到HostMonitor错误!
未定义书签。
1.基础环境
1.1.软件环境
本文将介绍离线安装CDH和ClouderaManager过程,软件版本如下:
NO.
软件名称
版本
1.
操作系统
64位
2.
JDK
jdk-8u151-linux-x64
3.
ClouderManager
4.
5.
数据库
Mysql
6.
JDBC
1.2.配置规划
本次安装共5台服务器,服务器配置及用途如下:
NO.
机器名称
内网IP
配置
用途
1.
node168
主,CM,MysqlDB
2.
node169
从
3.
node170
从
4.
node171
从
5.
node172
从
1.3.所需要的软件资源
1)JDK环境:
JDK版本:
2)下载地址:
包:
CM版本:
3)下载地址:
包
CDH版本:
,
下载地址:
4)连接jar包:
jar包版本:
,下载地址:
1.4.修改机器名(所有节点)
1)修改机器名称
#hostnamectlset-hostnamexxx
2)
sh/root@node169:
~
sh下,如果没有可以新建)
#cat>>~/.ssh/authorized_keys
如果提示下面信息,则需要创建./ssh目录:
-bash:
/root/.ssh/authorized_keys:
Nosuchfileordirectory
sh目录,再追加公钥内容
#mkdir~/.ssh
#cat>>~/.ssh/authorizedkeys
并设置authorized_keys的访问权限:
#chmod600~/.ssh/authorizedkeys
测试:
在node168点上执行sshnode169,正常情况下,不需要密码就能直接登陆进去了。
在node168节点出现下面表示成功登录node169节点:
以同样的方式将公钥拷贝至其他节点服务器上。
1.5.关闭SELINUX(所有节点)
关闭linuxSELINUX安全内核
#setenforce0
临时生效)
#vi/etc/selinux/config
内容增加:
SELINUX=disabled
重启后生效:
#reboot
查看SELINUX是否关闭:
#sestatus
在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常)
1.6.修改Linux内核参数(所有节点)
为避免安装过程中出现的异常问题,首先调整Linux内核参数。
1)设置swappiness,控制换出运行时内存的相对权重,Cloudera建议将swappiness设置为10:
4)
5)
6)
7)
1)
4)
toroot@localhostidentifiedby'root'withgrantoption;
grantallon*.*toroot@"%"Identifiedby"root";
flushprivileges;
exit;
root(?
nodel68parcel-repo]#11
oral1888980
rw-r—r一1rootroot1934231261Mar2717:
34CDH-5.13.1-1.cdh5.13.1.pO.2-el7.parcel
rw-r—r—1rootroot41Mar2717:
34CDH-5.13.1-1.cdh5.13.1.pO.2-el7.parcel.sha
rw-r—r--1rootroot73766Mar2717:
34manifest・json
root(?
nodel68parcel-repo]#.
cloucteramanager
欢迎便用CkxxleraMonagerMM诃仙uft侣
Cte««r»8t*MrdlKme
V«tm>i»IWW6
ENDUS0IUCZM20M5“OOOCUIONS
TK»KRMSAHOCOMOIT)C«(W€5fTimtSDAPR.VTOVO.RUK(XTHfRKDUCTS心CfPhfDBROW)Am«€0列dOX€^^M(T10lC€«An
PlfABfVADTX!
fTRIMSCARTFULIY
irWUr^QiraiXlHTQMSr)FtAMTOJ«MererY»cVUC9JCTXOMtm«l/QtACC«m»MVM0THDItMHTXVQUttFWnmfIHMWUMRTXtwtovttQ«AG0TorsuerccwMtrrq*omearwr-rv;a>apjs/rrtcaltthwtytcacuftAiiorne化《•«andcoN^noitssrrrowwmanAcctprrentcutST;as:
etweo0aOW)AMDrH8lT(IM(COli(C1IVHVJM/“HtflMnCM.MU0a>CQMMn<005H(・WT¥1
8vuimoMarxMooucra»eu«ocmo«i(m(amoao«(that
(A.vOUHMftfADALLOFKTUM>MICO«lCnIO«0€T«M;(€£M£NI
qwVOU^OHBTMCMlOFtmrtflimAMSCOIMEMS0*TNBAJilTfMtMT.
(oyou*cwrrm«rire*vrnoummallorrxTrwswccwxTOhssnLcwmrimx»rrxNT
lF^UK>N0T*3«KiiWMAWV0fTM(TfAulQAC0N»T)0MOFT
欢迎使用ClouderaManager
也0*硒•个版本?
UClMtersEnlv*n»>MR*CT^W»*5*^Mr*«5J Clover*Ecprecs 7 CtouderaEnterpns^Cloudtrstnt«rpns« CkxxtoraEnMcpnse 卉可ii 5XWZC;衣FCMMP 左.: 迂再甘 «WTUVW •1砂・ •FlwEmcn •OcoXifcmwcm* XflIM SBM m. COH Cleudore 7 — CleudvaKUnoger爲製功繼 CloudvaNedQ«to< * CloudvaNaviQstocMyTrviut 7 Cloud^iAM •>«dr»爲rcumUt.«Monwz«nw»>*wrr. 感谢您选择ClouderaManager和CDH. •4ehe%m»«w\XDE.JgzVMNI •Ap*cMHRim •SkCMSAM" •A^KtM0(M>» •/pachaHnra •Hu.{esAwcu^> ./^achaFUiM •C]ai«i»r»irr^aia<巧Aaaeh*I •QeZMfy .^•cheSqcop •Ckvikr#3e»Kh<眸耳釣ApecheI •4oh»S(4 eiw®a°4.hiqkbsm.切r以y耳・7■更■割黄csu«. >«•f*oc« •^xterMOtwWt^S>«Mv)Cf ・JwixwrXlM*rm*<*C? ■JDK(3 ckxxJeramahkger 为cDH«nc安商定主机. ■T<\i«WnFrt: ii s«mw^*www-r«n€^ifqomi仝忑. C3S>a*Doettor.Mw-9-Ro9>皿仝IgUF尢3 ■■«•*Otaxr^icPBtt. I-oit<•*1-; OSO 冬* qmKMilhNoyvrnMdooCBe ■*nve»i6MMin3iOcrBoociszs〉e W“2nmoYvtn39vegBoxowra^ogz/grMnx>ve 里KjfefMX)U<*(Ltlfil上•"2K七僅 "“IitM»ll4FM(D• i"$wp L0畑尸叫W*. OUM4I*OUW MS玄XMUH如昨JU・・・±・《t齐化旦 K»QgTV8M»: V» l*a*HM2MI “Wl »»410D^9 f*砂 UlElZ/l s”>»鼻 *•R4Z —9a»・ uins > *时fc ituuioure rw kiw»» *40W rw MlOlUi w> «4«wt» 冬 kk r>i■*tt« EW■ • ex f•« 皿昕| MNI. Y>♦ •■g• w• MV? 広•”于FW・9王・ •IA^8K5^#«HOOQ( vCSM•«•••••<«>•gtf •W7«^m. •rvwtog •ATXWWA.―巾 •*wxnr«a.iE .3«rwuwa.7山 BrH> BQ 000 止AfrimrPBfoei ■»na、■“foxuu 群矢安装 ttid ・・ ・bc«»M«Hf^iIt? 04«. ・0UR.W〈2fW>・ ・ym”r— ・恢90十・乙”《”—・ —mIRXtO,K*jstf»X«KK. o玄in私化 o己yctw•内2•叙哄* *•©cw<.•M± -w^ca«ttfc*^«Mi£R^Escmait»t・ “・1日丘三<»*«二一55)十”・ ・*e>g^WCDU^nCw»€・■ ・年Hewg*w«・^? ・a«w 时汇8 CW« Hk.V««N<■MaHlic.J}.TM^^r,GM,2«1 AUeraiWt HETS.V«flN<*Mas«ie・J}.Xoc&Mpar.OeoM.t««.Hue如3 ASpviWHC m.VM>N(•KAaMHe*J》.QeoM.»♦*.HueSpartc HOS.《・MaWie•卄.Qeato.ttve.Hue.HBm>.»nM«.Sdi.«]SVaUeMmHd«i 杓C Cto«w.s^rro..写fKb可D书fc3.Hit. 群集设IS 且定义角色分配 处R仝乂"血她沁.心C•分*不正.{WC.分也机上的H色E.Wf穷ME料那gWWJKJt刘己卯仝R邑段*样2至机SftCkxjderaT■0决交分”Q NHBase 口心 Qre«« 口: 阳・xT"2vr■1-HI CJ|Reg"Swfr・4Vi* noctelftS nodelOO・ fWctelTO・ 与DmMod•咱月・ QMDFS LjNamdSoda*1 EZ3Sdoonddry«iim«Nod«• 1«0t ElB^Unc“■ dHEtpFS■1Mt node168 node168 node,70・ nzbFsgE■i时1 £3OeKaNode«4&HK nodolbO* 201121721. &Hive EiGatewy■5iRtt LZ]M«a«oceServer■ 1*itt Z2WcbHQrtSemr dlHveSeng■1 nodHW^172| nodelOO MxU nockioe 小X* QHu»S«v««1mtt E33dB4wM nodeUS no yInoek u««w»nwi»^MQgn・«>rmmtm#«swnu«ow«mm口•・ £S 群集设還 咖際" 伍6QHSX疔今.■先耐比3创m3V&C^ImuBi^・dCW^ M,y*V9uetM»M nw£ms»• fUMM• raps• >xde168 M>5QL ■ ht»e ro« root AcbvityMondor MttC力他no4t! M上却. UM1愧名鼻• M*«T ItVMKW・ mns• Z(68 MvSOL ■ morwto- root wt OozieServer 7$ rW»1M±J^7. M«feww• IN・t热岭: • mp«: e •W: riufolM M>$Ol ■ gg root Hue 7Suc+Z MUC扑gr・ MUC8.: 宾修: • 用戶册 •«: r>tttol68 MySOl ■ hue root root Bit •tttMMT初董UEEM■匝7•: »«n •认・a名行*5用■»主机各存杠包wmasdu. •矗色丈■■于曰-雯机上・ ooaaQQ «« rootdir MfWHM・5l AIWWIM Wr«pHc«tM>n •wr.3人小 afa.Uock・u»dfsbk»c>(aAM ♦Cluvte*1»尸th>・>(I•才0D)f ■CluMr1•Ma»(OMTrx.f *>MZatM.amow别o.OMsodef©»>e<1vdurr»e»to«r XU»Z—nMH« “0.83 亠.■a■“ carter1•MOTS<) 血Iw■
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Cloudera 数据 平台 环境 搭建 CDH5131 傻瓜 说明书