Greenplum数据库安装方案.docx
- 文档编号:575091
- 上传时间:2022-10-11
- 格式:DOCX
- 页数:26
- 大小:113.83KB
Greenplum数据库安装方案.docx
《Greenplum数据库安装方案.docx》由会员分享,可在线阅读,更多相关《Greenplum数据库安装方案.docx(26页珍藏版)》请在冰豆网上搜索。
Greenplum数据库安装方案
江西移动Greenplum数据库安装
修改记录
编号
日期
描述
版本
作者
审核
发布日期
11物理环境部署
11.1Greenplum物理架构概述
Greenplum是一种基于postgresql(开源数据库)的分布式数据库。
其采用sharednothing架构(MPP),主机,操作系统,内存,存储都是自我控制的,不存在共享。
主要由masterhost(master管理节点),segmenthost(segment数据节点),interconnect(网络)三大组件组成,segmenthost又包括primarysegment(主segment实例)及mirrorsegment(镜像segment实例)。
如下图所示:
其中各组件功能如下:
ØMasterhost(master管理节点)主要负责接收并分配查询等任务,是Greenplum环境与外界通信的入口。
并且,master管理节点不存储任何业务数据,只负责对各Segment数据节点抽取出的业务数据进行汇总,反馈给用户。
ØStandbymaster(Standbymaster管理节点)主要作为master管理节点的热备份节点,当master管理节点宕机时Standbymaster则扮演master管理节点角色。
ØNode/segmenthost(Segment数据节点)主要负责运行Segmentinstances(Segment实例)的服务进程,支撑多少个Segment实例取决于Segment数据节点CPU核数。
ØPrimarySegment(主实例)存放数据库一部分独立数据(即每个主实例存放的数据完全不一样),主要负责处理查询等任务,每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。
当加载数据至数据库时,数据库按既定的分配算法决定实例分别存放哪些数据,当master将执行计划发给各实例,各实例主要处理其负责的那部分数据。
ØMirrorsegment(镜像实例)主要作为PrimarySegment(主实例)的热备份节点,当PrimarySegment(主实例)不可用时Mirrorsegment(镜像实例)则扮演master管理节点角色。
ØInterconnectswitches(互连交换机)是Greenplum数据库环境的通信核心,主要负责各节点的通信交互。
11.2硬件环境
1.Master/Standby服务器
Master硬件信息
设备型号
华为RH2288HV2<1>
CPU
英特尔志强8核E5-2650V22.6GHz处理器2*8core
内存
192G
磁盘
23*900GB
网卡端口
4*1GE+4*10GB口
服务器数量
2
2.,Segment服务器
Slaver硬件信息
设备型号
华为RH2288HV2<1>
CPU
英特尔志强8核E5-2650V22.6GHz处理器2*8core
内存
192G
磁盘
23*900GB
网卡端口
4*1GE+4*10GB口
服务器数量
17(当前环境13台)
3.万兆网络
2台华为交换机9300做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合,实现负载均衡和容错。
11.3磁盘硬件RAID设计
考虑数据安全性、可靠性、运行性能和容量需求,在硬件方面采用RAID进行进行数据保护。
对于磁盘RAID设置要求:
ØRAID卡打开“WriteBack”Cache设置和“Readahead”读策略。
Ø分成2组RAID5:
12*900G+11*900G。
11.4网络IP规划
为了最大程度满足性能和可靠性的要求,集群配置了2台华为9300交换机,做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合(mode=4),实现负载均衡和容错。
由于采用网卡聚合技术,每台服务器只需配置一个IP地址,整个集群处于一个vlan之中。
用途
机器名
IP
GPDBMaster
jxgpmaster01
10.180.212.64
GPDBStandby
jxgpmaster02
10.180.212.65
GPDBSegment
jxgpseg05
10.180.212.70
jxgpseg06
10.180.212.71
jxgpseg07
10.180.212.72
jxgpseg08
10.180.212.73
jxgpseg09
10.180.212.74
jxgpseg10
10.180.212.75
jxgpseg11
10.180.212.76
jxgpseg12
10.180.212.77
jxgpseg13
10.180.212.78
jxgpseg14
10.180.212.79
jxgpseg15
10.180.212.80
jxgpseg16
10.180.212.81
jxgpseg17
10.180.212.82
12软件环境安装配置
12.1操作系统安装配置
12.1.1BIOS设置
Ø进入BIOS功能界面,开启BIOS超线程
✓开启
Ø验证BIOS超线程设置合规性:
A:
grep–i‘cpucores’|/proc/cpuinfo|wc–l
B:
grep–i‘processor’|/proc/cpuinfo|wc–l
Ø检查结果:
处理器数量是核数的2倍。
12.1.2操作系统安装设置
12.1.2.1安装操作系统基础包
操作系统版本:
RedhatEnterpriseLinuxServer6.5(64bit)
Ø要求:
✓选择“最小”软件组方式安装RedHatEnterpriseLinux6.5(64bit)
✓选中“现在自定义”选项,选择安装其他系统工具包。
12.1.2.2安装系统语言包
Ø要求:
操作系统安装过程中,请安装以下语言支持。
✓POSIXC 和en_US.utf8locales在安装操作系统时安装。
即ThePOSIXCanden_US.utf8localesmustbeinstalledduringtheOSinstallation.Additionallocalesmaybeinstalledasnecessarytosuitthecustomer.
✓以English(English)作为操作系统安装/登录时采用的语言。
✓除英文环境,在安装附加语言支持时,选择简体中文。
即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5,等中文语言包需要在安装操作系统时一并安装。
12.1.2.3安装系统工具包
组件名称
组件功能
版本要求
验证检查
Kdump
系统信息转储工具
与操作系统相同版本
Servicekdumpstatus
Whichkdump
Ntp
时间同步服务
与操作系统相同版本
Servicentpdstatus
Perl
Perl语言工具包
与操作系统相同版本
Perl--version
Tcpdump
网络数据采集分析工具
与操作系统相同版本
whichTcpdump
Unzip/zlib5
解压工具
与操作系统相同版本
whichUnzip
Xfsdump
Xfs文件系统工具
与操作系统相同版本
whichXfsdump
Xfsprogs
Xfs文件系统工具
与操作系统相同版本
whichxfssprogs
ed.x86_64
Ed编辑器
与操作系统相同版本
whiched
jdk-6u43-linux-x64-rpm
Jdk工具,从Oracle下载安装
与操作系统相同版本
jdk–version
ipmi/ipmitool
远程管理诊断工具
与操作系统相同版本
ipmitool--V
Gdb
程序运行时调试工具
与操作系统相同版本
whichgdb
Pstack
程序运行时调试工具(依赖于gdb)
与操作系统相同版本
whichpstack
Nmon
系统性能监测工具
与操作系统相同版本
whichnmon
12.1.2.4开发语言连接驱动
开发语言连接数据库需要特定的驱动,目前Greenplum与第三方开发语言连接方式有如下规范:
ØGreenplum自带C/C++开发语言驱动,不需要安装任何驱动。
ØGreenplum自带JDBC/ODBC连接驱动,开发语言可通过JDBC或ODBC连接数据库,例如Java开发语言可通过JDBC连接数据库。
Ø对于自带有JDBC/ODBC连接驱动的开发语言,可直接通过自身的JDBC/ODBC连接数据库
ØPython及Perl开发语言不能通过JDBC/ODBC连接数据库,需通过DBD连接,则要在安装操作系统完成后独立部署安装。
例如LDS及SOR数据库集群开发语言是Perl,则是需要安装如下DBD驱动软件包。
postgresql-libs-8.4.11-1.el6_2.x86_64
perl-DBI-1.609-4.el6.x86_64
perl-DBD-Pg-2.15.1-3.el6.x86_64
12.1.2.5时区配置
Ø配置时区要求如下:
✓选择时区为东八区“亚洲/上海-中国东部”
✓Asia/ShanghaiEastChina–Beijing,Guangdong,Shanghai,etc.
✓系统时钟不使用UTC
12.1.2.6文件系统和分区配置
∙由于RAID磁盘组大于2T,建议采用parted分区,不采用LVM进行管理。
∙Greenplum官方推荐最适合的文件系统是XFS,其他文件系统类型原则上不推荐;
∙挂载点
大小
文件系统类型
说明
/
400G
ext4
安装操作系统和应用软件
/boot
200M
ext4
linux启动目录
无
192G
swap
系统交换空间
/data1
2.8T
xfs
hadoop数据目录
/data2
2.6T
xfs
hadoop数据目录
12.1.2.7网卡配置
每台服务器采取2网卡绑定的方式提高网络带宽(需要交换机支持),网卡绑定参考如下过程:
1.停止 NetworkManager服务
serviceNetworkManagerstop
chkconfigNetworkManageroff
2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=static
IPADDR=…
NETMASK=…
GATEWAY=…
USERCTL=no
3.分别修改每块slave网卡的设置文件,假设slave网卡为eth0,则按以下内容更改/etc/sysconfig/network-scripts/ifcfg-
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Greenplum 数据库 安装 方案