大数据平台规划部署与运维管理推荐.pptx
- 文档编号:1018331
- 上传时间:2022-10-15
- 格式:PPTX
- 页数:58
- 大小:2.63MB
大数据平台规划部署与运维管理推荐.pptx
《大数据平台规划部署与运维管理推荐.pptx》由会员分享,可在线阅读,更多相关《大数据平台规划部署与运维管理推荐.pptx(58页珍藏版)》请在冰豆网上搜索。
,大数据平台规划部署与运维管理,大数据系列培训,H3CDataEngine,提纲,DataEngine大数据平台集群规划DataEngine大数据平台部署DataEngineManager运维管理,UISR390G2:
2*Intel(R)Xeon(R)CPUE5-2620v32.40GHz、6/6cores;12threadsR590:
4*Intel(R)Xeon(R)CPUE5-4620v22.60GHz、8/8cores;16threadsR690:
4*Intel(R)Xeon(R)CPUE7-4870v22.30GHz、15/15cores;30threads,配置要求,硬件配置要求,不推荐使用虚拟内存建议使用更多块硬盘,2块1T硬盘性能优于1块2T硬盘。
建议单数据节点容量最大不超过24TB,否则节点失效后造成大量数据复本的复制。
不建议使用SSD,Hadoop的磁盘IO多为顺序读写,不能完全发挥适用于随机读写的SSD的性能优势,同样的采购投入可以通过多个HDD提高并发量提高性能。
最低配置要求12核2.0GHz,推荐配置26核2.0GHz或更多,32GB,128GB或更多,SAS10krpm,300GB*4,SAS10krpm,1TB及以上,数量建议满配,处理器内存硬盘网卡,千兆网卡:
1GESFP+2块万兆网卡做聚合,配置要求,硬盘RAID集群类型,操作系统配置,数据存储配置,HDP,2块硬盘做RAID1,剩余部分每块做一个RAID0,MPP2块硬盘做RAID1剩余部分做成一个RAID5注意:
共享存储系统不适用于集群数据存储,单点存储是大数据集群的运算性能瓶颈。
配置要求,硬盘RAID(HDP集群)系统盘建议使用两块盘做成一个RAID1,保证系统运行安全可靠。
HDFS天然支持复本冗余存储策略,数据盘无需做RAID,在必须配置RAID的情况下,每个数据盘单独设置为RAID0。
多块盘做一个RAID0,会将HDFS并行流式读写操作变成随机读写,降低性能。
多块盘做一个RAID0,其读写性能受制于阵列中速度最慢的磁盘。
从磁盘损坏率考虑,多块盘做一个RAID0会带来更大的数据损失,造成大量数据需要复制重建。
配置要求,硬盘RAID(MPP集群)系统盘建议使用两块盘做成一个RAID1,保证系统运行安全可靠。
受制于MPP数据存储路径只能指定一个,所以从存储性能、数据安全和存储成本综合考虑,建议将数据盘做成一个RAID5。
配置要求,操作系统要求,不建议操作系统安装Desktop版。
RedHatEnterpriceLinuxCentos,6.4/6.5(minimal最小安装方式)64位6.4/6.5(minimal最小安装方式)64位,配置要求,配置要求,集群软件环境,注意:
DataEngine会自动安装以上软件环境。
Java,OracleJDK1.7.0_79forLinux,Python,Python2.6.6,SSL,openssl-1.0.1e-30,常用的有三种:
mode=0:
平衡负载模式,有自动备援,需要交换机支援及设定。
mode=1:
自动备援模式,其中一条线若断线,其他线路将会自动备援。
mode=6:
平衡负载模式,有自动备援,不必交换机支援及设定。
部署时可使用netperf网络测试工具,测试服务器网卡不同聚合模式下的传输性能。
服务器网络规划,业务交换机(堆叠),服务器,管理交换机,业务交换机采用堆叠服务器网卡配置聚合,Ilo口,组网规划,IRF,业务网交换机,管理网交换机,服务器,服务器,Hadoop集群,MPP集群,推荐集群规划Hadoop集群,低配置:
要求3台物理服务器,Hadoop集群管理节点和数据节点共用物理服务器,高配置:
要求5台及以上物理服务器,Hadoop集群管理节点和数据节点使用不同的物理服务器MPP集群,若对数据安全性要求较低,选择2个节点为1个safegroup,推荐配置4台及以上服务器若对数据安全性要求高,选择3个节点为1个safegroup,推荐配置6台及以上服务器,设备机柜规划,硬件物理部署和网络规划电源高可用两个机柜的电源是独立的,互不影响的交换机高可用每个机柜上各包含2台交换机,并且这两台交换机之间是互备的关系,当其中一台交换机发生故障,另一台交换机立即提供服务节点高可用对于HDP,把HA服务所在的两个服务器放在不同的机架上对于MPP,把一个safegroup的不同成员放在不同的机架上,Hadoop组件部署规划,支持高可用性的服务建议开启HA,如NameNode、ResourceManager,防止单点故障造成的影响绿色必装,黄色为选装,红色为不装,服务,组件,管理节点主机一主机二,数据节点主机三主机四主机五,MetricsMonitorZooKeeperServerZooKeeperClientNameNodeZKFailoverControllerDataNodeJournalNodeResourceManagerAppTimelineServerNodeManagerHistoryServer,MPP组件部署规划,集群高可用方案safegroup配置1个节点为1个safegroup的方案不推荐使用对数据安全性要求高,选择3个节点为1个safegroup对数据安全性要求较低,选择2个节点为1个safegroup,提纲,DataEngine大数据平台集群规划DataEngine大数据平台部署DataEngineManager运维管理,DataEngine大数据平台部署,原生Hadoop集群的开通和管理会是一个超复杂的工作,尤其是涉及成百上千台主机时。
DataEngine大数据平台部署方案,应用场景定制部署:
对于需要利用现有集群中的服务器和定制化需求多样的客户,建议采用定制部署方式,这种方式可以满足客户对系统安全、组网环境、节点复用等方面的特殊需求。
Zero部署:
对于需要创建全新大数据集群的客户,建议采用Zero部署方式,这种方式可以快速实现服务器操作系统的批量安装、网段统一分配和DataEngineManager的安装。
定制部署流程,Zero部署流程,DataEngine大数据平台部署流程,安装前准备硬件准备网络规划操作系统准备安装包准备,DataEngine大数据平台定制部署流程,步骤1:
解压DataEngine安装包tarxvzfDataEngine-.tar.gz步骤2:
拷贝系统镜像文件将准备的系统镜像文件(*.iso)拷贝到解压后文件夹的iso目录中。
步骤3:
执行安装进入解压目录,执行./install.sh,将会启动安装程序。
DataEngine大数据平台Manager安装,步骤4:
填写安装参数填写集群节点IP地址列表填写节点操作系统root用户密码填写节点命名后缀选择“OK”开始安装DataEngineManager,DataEngine大数据平台Manager安装,步骤5:
检查安装结果安装通常会在15分钟内结束,具体执行时间与机器性能、网络性能有关。
安装完成后,会有如下图样例的提示。
以提示信息中提供的URL登录DataEngine管理界面进行HDP的安装。
DataEngine大数据平台Manager安装,步骤1:
打开一个浏览器,输入DataEngineManager安装完成后提供的URL,初始账号密码为admin/admin。
DataEngine大数据平台集群部署,步骤2:
登录管理界面后点击。
步骤3:
在出现的文本输入框中输入集群名称后,点击。
DataEngine大数据平台集群部署,步骤4:
进入选择版本页面,选中要安装的DataEngine版本,点击。
步骤5:
然后在安装选项里的目标主机文本域输入以下内容(主机名后缀根据配置文件配置的为准):
node1-有几台就写对应的正则表达式。
DataEngine大数据平台集群部署,步骤6:
到达确认主机步骤后,等待DataEngineManager对所有节点进行注册并检查,直到出现下图,点击。
DataEngine大数据平台集群部署,步骤7:
在选择服务页面,选择想要安装的服务,点击。
DataEngine大数据平台集群部署,步骤8:
在服务分配页面,选择服务内组件及客户端安装的对应节点,点击。
DataEngine大数据平台集群部署,步骤9:
在定制服务页面,可以调整服务的默认参数,设置服务认证相关的密码。
DataEngine大数据平台集群部署,步骤10:
服务安装过程中会显示每个节点每项服务安装的详细进度。
等待安装结束后在摘要中确认安装结果,结果正常点击。
DataEngine大数据平台集群部署,安装完成后即可进入DataEngineManager界面首页。
DataEngine大数据平台集群部署,提纲,DataEngine大数据平台集群规划DataEngine大数据平台部署DataEngineManager运维管理,DataEngineManager架构,为了便于监控和管理DataEngine集群,DataEngineManagerServer将集群节点、服务以及其它信息收集后,通过DataEngineManagerWeb界面集中展现出来。
DataEngineManagerWeb会话,DataEngineManagerWeb界面通过调用RESTAPI获取集群信息、执行对集群的操作。
界面中不会出现会话超时的情况,它会自动刷新界面。
若要断开与DataEngineManagerServer的会话连接,需手动点击退出。
DataEngineManagerWeb访问,在支持的浏览器中访问http:
/:
8080,输入用户名、密码登陆。
如果是第一次访问,则使用默认的用户名/密码:
admin/admin。
用户名和密码是可以更改的。
这个在“管理DataEngine”中进行设置。
集群级运维,主机级运维,服务级运维,单个主机,单项服务,DataEngineManager运维管理分级,DataEngineManager集群运维,在DataEngineManagerWeb主页中,可进行:
查看集群状态修改集群主页查看集群热力图,DataEngineManager集群运维,在DataEngineManagerWeb主页中,查看集群状态:
DataEngineManager集群运维,在DataEngineManagerWeb主页中,修改集群主页(删除、添加、移动、重置、自定义):
DataEngineManager集群运维,在DataEngineManagerWeb主页中,查看集群热力图:
DataEngineManager主机管理,在DataEngineManagerWeb主机页面中,可进行:
查看主机状态过滤主机列表执行主机级操作删除主机添加主机机架管理机架展示,DataEngineManager主机管理,在DataEngineManagerWeb主机页面中,查看主机状态:
红色-该主机上的至少一个master组件关闭。
橙色-该主机上至少有一个slave组件是挂掉的。
黄色-DataEngineManagerServer没有收到来自该主机的心跳超过3分钟。
绿色-正常运行状态。
DataEngineManager主机管理,在DataEngineManagerWeb主机页面中,过滤主机列表:
DataEngineManager主机管理,在DataEngineManagerWeb主机页面中,执行主机级操作:
DataEngineManager主机管理,在DataEngineManagerWeb主机页面中,删除主机:
DataEngineManager主机管理,在DataEngineManagerWeb主机
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 平台 规划 部署 管理 推荐
![提示](https://static.bdocx.com/images/bang_tan.gif)