CDH5112安装文档.docx

CDH5112安装文档.docx

《CDH5112安装文档.docx》由会员分享，可在线阅读，更多相关《CDH5112安装文档.docx（27页珍藏版）》请在冰豆网上搜索。

CDH5112安装文档

CDH5.11.2安装手册

1，概述

本文档概述REDHAT7.2操作系统部署CDH试用版的过程。

本次安装主要分为5个步骤：

1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；

2.外部数据库安装

3.安装Cloudera管理器；

4.安装CDH集群；

5.CDH集群组件安装

本CDH的安装手册，并基于以下环境：

1.操作系统版本：

REDHAT7.2

2.MariaDB数据库版本为5.5.44-MariaDBMariaDBServer

3.CM版本：

CDH5.11.2

4.CDH版本：

CDH5.11.2

硬件要求：

（本次安装由于硬件缘故未能符合配置，所以在CM安装后会存在部分警告提示）

以下ClouderaManager，NameNode和DataNode相同：

CPU：

最少4cores，推荐2路8核，2路10核，2路12核

内存：

最小16GB，推荐128GB-256GB

网络：

最小千兆，推荐两张万兆绑定

其他要求：

1，确保OS的镜像.iso文件（一般为4GB大小）已经准备并放置在CM节点所属服务器上；

2，操作系统最小化安装，并安装启用了ssh服务；

3，集群所有服务器配置了ssh免密登录或者统一用户密码；（本次安装不提供ssh免密设置教程）

4，能够使用rz或WinSCP把CM、CDH等软件上传至服务器上或者已经提供了下载地址（本次安装都是自行配置，如果环境不允许上传，需要提供CM、CDH等软件的下载地址）

5，所有主机已经按照规范设置hostname（本次安装不提供hostname设置教程）

2，CDH前置检查和配置

本次安装由于硬件设置，只有3个节点（vm1,vm2，vm3），以下前置安装无特殊说明所有的节点均需要操作，截图和命令只展示vm1的操作

2.1系统yum源配置

2.1.1配置操作系统的repo（主节点操作即可）

mkdir/media/DVD1#创建一个空目录

mount-oloopredhat-7.2.iso/media/DVD1/#挂载CentOS镜像文件至DVD1目录下

df–h#检查是否挂载成功，如下图所示

说明挂载成功

配置local.repo,编辑完成后保存退出，这里是文件夹名称就叫centos7.2

[local_repo]

name=CentOS7.2

baseurl=file:

///media/DVD1/

enable=1

gpgcheck=0

检查本地操作系统的yum源是否配置好

yumupdate#更新yum源

yumrepolist#查看repo文件是否有效

2.1.2安装并启用httpd服务（主节点操作即可）

安装httpd服务

[root@vm1~]#yum-yinstallhttpd

启用httpd服务

[root@vm1~]#systemctlstarthttpd

2.1.3更换yum源为http方式

使用如下命令，配置远程下载地址（主节点操作即可）：

mkdir/var/www/html/centos7.2#创建centos7.2文件目录存储操作系统文件

scp–r/media/DVD1*/var/www/html/centos7.2/#拷贝操作系统文件至centos7.2目录下

vim/etc/yum.repos.d/os.repo#创建http方式的repo文件（所有节点均需要配置os.repo文件）

[root@vm1~]#mkdir/var/www/html/centos7.2

[root@vm1~]#scp–r/media/DVD1*/var/www/html/centos7.2/

编辑os.repo,baseurl改成自己的路径

[root@vm1~]#vim/etc/yum.repos.d/os.repo

[repo]

name=os_repo

baseurl=http:

//192.168.0.230/centos7.2

enabled=true

gpgcheck=false

yumupdate#更新yum源

yumrepolist#查看repo文件是否有效

如果设置成功，可以访问网址http:

//192.168.0.230/centos7.2，如下图所示表明配置成功

2.2系统版本检查

[root@vm1~]#cat/etc/redhat-release

2.3hosts文件检查和配置

[root@vm1~]#cat/etc/hosts

如果hosts配置文件格式不符合上图，需要修改成上述格式

2.4禁用selinux

[root@vm1~]#sestatus

显示disabled说明selinux已禁用，如果显示不是disabled,可以使用

[root@vm1~]#sudosetenforce0

临时禁用，如果希望开机就禁用，需要修改/etc/selinux/config文件

[root@vm1~]#vi/etc/selinux/config

#ThisfilecontrolsthestateofSELinuxonthesystem.

#SELINUX=cantakeoneofthesethreevalues:

#enforcing-SELinuxsecuritypolicyisenforced.

#permissive-SELinuxprintswarningsinsteadofenforcing.

#disabled-NoSELinuxpolicyisloaded.

#SELINUX=enforcing

SELINUX=disabled

#SELINUXTYPE=cantakeoneofthreetwovalues:

#targeted-Targetedprocessesareprotected,

#minimum-Modificationoftargetedpolicy.Onlyselectedprocessesareprotected.

#mls-MultiLevelSecurityprotection.

SELINUXTYPE=targeted

2.5关闭防火墙

查看防火墙状态

[root@vm1~]#sudosystemctlstatusfirewalld

显示Active:

inactive（dead）表示防火墙已关闭

如果没有关闭也可以使用下面的命令进行关闭

[root@vm1~]#sudosystemctlstopfirewalld

#设置开机自动关闭

[root@vm1~]#sudosystemctldisablefirewalld

2.6集群时钟同步查看和设置

Ntp时钟同步配置本文档不详细描述配置

查看时钟同步，前面有*号表示时钟已同步

[root@vm1~]#ntpq-p

2.5关闭透明大页

[root@vm1~]#cat/sys/kernel/mm/transparent_hugepage/defrag

[root@vm1~]#cat/sys/kernel/mm/transparent_hugepage/enabled

显示[never]表示已关闭，若是没有关闭，可以使用以下命令进行关闭操作

[root@vm1~]#

echonever>/sys/kernel/mm/transparent_hugepage/defrag

[root@vm1~]

#echonever>/sys/kernel/mm/transparent_hugepage/enabled

2.7查看swap交换空间

[root@vm1~]#cat/proc/sys/vm/swappiness

显示10表示符合CDH集群建议值，否则可以使用下面命令进行设置

[root@vm1~]#sysctlvm.swappiness=10

#并永久修改并保存到文件

[root@vm1~]#echovm.swappiness=10>>/etc/sysctl.conf

2.8cm.repo的配置

复制CM5.11的包到/var/www/html目录下，确保能够远程访问下载（主节点操作即可,可以与步骤3.3配置CDH下载地址一起完成）

然后配置cm.repo文件，并保存退出

[root@vm1~]#vi/etc/yum.repos.d/cm.repo

[cmrepo]

name=cm_repo

baseurl=http:

//192.168.0.230/CM5.11/

enabled=1

gpgcheck=0

这里建议重新createrepo.重新生成rpm元数据，

如果没有createrepo.命令，则需要先安装

[root@vm1CM5.11]#yum-yinstallcreaterepo

然后执行下面的操作

[root@vm1~]#cd/var/www/html/CM5.11/

[root@vm1CM5.11]#sudocreaterepo.

然后使用yumrepolist命令查看，状态如下，表示配置成功

[root@vm1~]#yumrepolist

3，CM安装

以下安装在主节点上进行即可

3.1mysql安装和初始化

[root@vm1~]#yum-yinstallmariadbmariadb-server

启动mysql

[root@vm1~]#sudosystemctlstartmariadb

设置mysql安全信息

[root@vm1~]#sudo/usr/bin/mysql_secure_installation

3.2建立CM和hive所需要的表

命令如下：

[root@vm1~]#mysql-uroot–p

Enterpassword:

WelcometotheMariaDBmonitor.Commandsendwith;or\g.

YourMariaDBconnectionidis9

Serverversion:

5.5.44-MariaDBMariaDBServer

Copyright（c）2000,2015,Oracle,MariaDBCorporationAbandothers.

Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.

MariaDB[（none）]>createdatabasemetastoredefaultcharactersetutf8;

CREATEUSER'hive'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONmetastore.*TO'hive'@'%';

FLUSHPRIVILEGES;

createdatabasecmdefaultcharactersetutf8;

CREATEUSER'cm'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONcm.*TO'cm'@'%';

FLUSHPRIVILEGES;

createdatabaseamdefaultcharactersetutf8;

CREATEUSER'am'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONam.*TO'am'@'%';

FLUSHPRIVILEGES;

createdatabasermdefaultcharactersetutf8;

CREATEUSER'rm'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONrm.*TO'rm'@'%';

FLUSHPRIVILEGES;

createdatabasenasdefaultcharactersetutf8;

CREATEUSER'nas'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONnas.*TO'nas'@'%';

FLUSHPRIVILEGES;

createdatabasenmsdefaultcharactersetutf8;

CREATEUSER'nms'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONnms.*TO'nms'@'%';

FLUSHPRIVILEGES;

createdatabasesentrydefaultcharactersetutf8;

CREATEUSER'sentry'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONsentry.*TO'sentry'@'%';

FLUSHPRIVILEGES;

createdatabaseooziedefaultcharactersetutf8;

CREATEUSER'oozie'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONoozie.*TO'oozie'@'%';

FLUSHPRIVILEGES;

createdatabasehuedefaultcharactersetutf8;

CREATEUSER'hue'@'%'IDENTIFIEDBY'password';

GRANTALLPRIVILEGESONhue.*TO'hue'@'%';

FLUSHPRIVILEGES;

然后查看是否创建成功，显示如下即可

MariaDB[（none）]>showdatabases;

3.3安装JDBC驱动

进入cd/usr/share/java目录,如果没有先使用mkdircd/usr/share/java命令创建，并且复制mysql-connector-java-5.1.34.jar到该目录

[root@vm1java]#cd/usr/share/java

[root@vm1java]#sudoln-smysql-connector-java-5.1.34.jarmysql-connector-java.jar

最后显示如下即可

[root@vm1java]#ll

total940

-rw-r--r--1rootroot960372Sep415:

33mysql-connector-java-5.1.34.jar

lrwxrwxrwx1rootroot31Oct3015:

47mysql-connector-java.jar->mysql-connector-java-5.1.34.jar

3.3配置CDH下载地址

复制CDH5.11的包到/var/www/html目录下，确保能够远程访问下载（主节点操作即可，这一步可以与CM5.11一起完成，如果有其余的parcel包，比如Kudu，Kafka操作一致）

3.4JDK安装

建议安装CM源中的JDK版本

[root@vm1~]#sudoyum-yinstalloracle-j2sdk1.7-1.7.0+update67-1.x86_64

3.5安装ClouderaManagerServer

[root@vm1~]#sudoyum-yinstallcloudera-manager-server

输入命令等待出现Complete!

表示安装完成

3.6初始化CM所用到的数据库

[root@vm1~]#sudo/usr/share/cmf/schema/scm_prepare_database.shmysqlcmcmpassword

出现Alldone,表示初始化成功

3.6启动ClouderaManagerServer和查看启动状态

[root@vm1~]#sudosystemctlstartcloudera-scm-server

[root@vm1~]#sudonetstat-ln|grep7180

需要等待几分钟，才能启动成功，启动成功后监听7180端口显示如上图所示，表示已启动，此时我们可以使用浏览器访问7180端口，如下图所示，表明成功安装，我们使用默认的用户名admin密码admin登录

http:

//192.168.0.230:

7180/cmf/login

4，CDH安装

4.1，登录后接受许可协议，然后点击继续

4.2，然后我们选择安装60天试用版，然后点击继续

4.3，CDH版本功能介绍，点击继续

4.4，输入主机，可以使用列表形式，也可以使用如下图形式，如下图点击可以查看详情

这里使用VM[1-3]表示vm1,vm2,vm33台主机，然后点击搜索

4.5，选择主机后选择继续，进入下面的界面

4.6，点击更多选项，配置使用本地CDH，将多余的地址删除，只留下本地的URL，然后保存

4.7，选择自定义的CDH版本和ClouderaManagerServer的存储库后点击继续

5，选择安装如下，然后继续

6，启动多用户模式，这里不勾选，点击继续即可

4.8，提供SSH登录凭证，为分发Parcel包给每个agent准备，所以需要所有节点密码一致，这里我们使用的是root用户，输入密码后继续

4.8，群集安装全部完成后点击继续，如果直接失败，建议检查密码是否正确，如果出现以下问题，是因为上次多个安装进程

解决办法：

ps-ef|grepsupervisord，输入这个命令，并且查看与agent有关的进程，将其kill掉，然后重启agent，所有节点均需要操作

[root@vm1~]#ps-ef|grepsupervisord

[root@vm1~]#kill-919702

[root@vm1~]#systemctlrestartcloudera-scm-agent

等待一会，然后重新尝试安装

4.9，出现安装完成后点击继续

4.10，集群开始下载CDHparcel包并分配解压激活，需要等待几分钟

4.10，完成后点击继续

4.12，集群检查完成后点击完成

5，组件安装

5.1，在组件服务安装界面选择核心hadoop服务安装，点击继续

5.2，角色分配如下

除了Clouderamanagerservice角色分配在主节点上，和一些特定节点，分配角色尽量保持均衡，不要使某一节点压力过大，或者某些节点十分空闲，分配完成后点击继续

5.3，填写数据库配置

注意数据库的主机名称是安装数据库的节点，如果有变动记得修改，然后点击测试链接

都测试通过后，点击继续

5.4，组件服务的配置审核更改

这里我们选择默认配置，不做修改，点击继续

5.5，集群首次运行，组件服务的配置生成和启动

等待启动和安装完成

恭喜完成安装

5.6，CDH部分警告处理

这里处理一个红色的警告和一些配置问题的提醒

红色警告是由于节点datanode数量不足3个导致，由于硬件的缘故，这里选择关闭警告

点击警告，如下图所示

进入下面的界面

然后更改提醒配置，修改为从不，然后保存

然后点击cloudera返回主页，可以查看到警告消失，

还有部分提醒都是节点或者内存不足导致，这里不再修改，至此，CDH安装完成。