CDH集群安装步骤Word格式文档下载.docx

CDH集群安装步骤Word格式文档下载.docx

《CDH集群安装步骤Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《CDH集群安装步骤Word格式文档下载.docx（10页珍藏版）》请在冰豆网上搜索。

hadoop5

root/iscs2016

关闭防火墙：

chkconfigiptablesoff，重启生效

关闭SELINUX：

使用getenforce命令查看是否关闭，关闭前显示为enforcing。

修改/etc/selinux/config文件

将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效

修改5台机器网络设置

重启网络：

servicenetworkrestart

检查IP是否修改：

ifconfig

检查能否联网：

设置机器名：

vi/etc/sysconfig/network，每台分别对应一个机器名，以此类推

设置HOST文件：

vi/etc/hosts

对网络设置进行重启：

sudo/etc/init.d/networkrestart

互ping验证是否设置正确：

所有节点增加用户adduseriscs

设置密码:

passwdiscs（iscs2016）

所有节点设置iscs用户无密码sudo到root权限：

1、给文件赋予写权限chmodu+w/etc/sudoers

2、增加一行

3、给文件删除写权限给文件赋予写权限chmodu-w/etc/sudoers

4、OK

NTP时间同步

SSH无密码验证设置（用户iscs）：

1、在每个节点中使用ssh-keygen-trsa生成私钥和公钥；

连续点击回车即可

2、在5个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3、authorized_keys_hadoop4、authorized_keys_hadoop5

3、以第一个节点hadoop1为例，把其他四个节点的公钥使用scpauthorized_keys_hadoop2iscs@hadoop1:

/home/iscs/.ssh命令传送到hadoop1节点的/home/iscs/.ssh文件夹中

4、把五个节点的公钥信息保存到authorized_key文件中，

使用catauthorized_keys_hadoop1>

>

authorized_keys命令

5、 

把该文件分发到其他四个从节点上

使用scpauthorized_keysiscs@hadoop2:

/home/iscs/.ssh把密码文件分发出去

6、测试ssh免密码登录是否生效

7、设置ntp时间同步

1）安装NTP（每个节点）

yuminstallntp

2）配置NTP

Vim/etc/ntp.conf

Mater配置（选用复旦大学ntp服务器）

Slave配置（每个slave节点）：

3）开启ntp服务

/bin/systemctlstartntpd.service

4）查看同步效果

ntpstat

所有节点设置httpd启动：

开机启动：

sudochkconfighttpdon

手动启动：

sudoservicehttpdstart

安装依赖包：

yum-yinstallpostgresql-server

yum-yinstallpostgresql

yum-yinstallhttpd

yum-yinstallperl

yum-yinstallbind-utils

yum-yinstalllibxslt

yum-yinstallcyrus-sasl-gssapi

yum-yinstallredhat-lsb

yum-yinstallcyrus-sasl-plain

yum-yinstallportmap

yum-yinstallfuse

yum-yinstallfuse-libs

yum-yinstallncyum-yinstallpython-setuptools

yuminstallopenssh-clients

ClouderaManager安装

下载ClouderaManager安装软件

这里选择ClouderaManager最新版5.0.1

下载ClouderaManager所需要的rpm包

将上述软件与报上传至Linux环境，我这里上传到/root/p01/cdhrpm（注：

路径随意）

在此路径下：

执行：

yumlocalinstall--nogpgcheck 

*.rpm（安装rpm包）

chmodu+xcloudera-manager-installer.bin（给下载的bin文件权限）

./cloudera-manager-installer.bin（大约十分钟左右，按提示选择即可）

安装好后，执行jps-l，查看服务是否启动

浏览器输入192.168.200.41:

7180,进入manager界面（具体IP视个人而定，端口为7180，初始用户名密码均为admin）

ClouderaManager文件配置及本地源配置

配置config.ini文件

修改主机名（只针对mater节点，slave节点server_host指定为master的IP）

vi/etc/cloudera-scm-agent/config.ini

修改前为：

localhost 

修改后为：

localhost.localdomain

本地源配置

Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：

因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

注意：

Parcel文件对应不同的系统版本

CentOS6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

CentOS5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel

l 

把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下

新建文件命名为：

CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha

打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中

servicecloudera-scm-agent

Ignoringnon-compliantparcelmanifest

exportJAVA_HOME=/usr/java/jdk1.6.0_31

exportPATH=$JAVA_HOME/bin:

$PATH

exportCLASSPATH=.:

$JAVA_HOME/lib/dt.jar:

$JAVA_HOME/lib/tools.jar

如果页面找不到主机，修改vi/etc/cloudera-scm-agent/config.ini，server_host修改为master的IP，重启servicecloudera-scm-agentrestart即可

、

Password:

iscs2016

Kafka:

HeapSizeofBroker

修改server.properties中的brokerid

Find/-namemeta.properties

rpm-ivh*.rpm--nodeps--force