Greenplum数据库安装方案.docx
- 文档编号:27425625
- 上传时间:2023-06-30
- 格式:DOCX
- 页数:27
- 大小:113.13KB
Greenplum数据库安装方案.docx
《Greenplum数据库安装方案.docx》由会员分享,可在线阅读,更多相关《Greenplum数据库安装方案.docx(27页珍藏版)》请在冰豆网上搜索。
Greenplum数据库安装方案
江西移动Greenplum数据库安装
修改记录
编号
日期
描述
版本
作者
审核
发布日期
11物理环境部署
11.1Greenplum物理架构概述
Greenplum是一种基于postgresql(开源数据库)的分布式数据库。
其采用sharednothing架构(MPP),主机,操作系统,内存,存储都是自我控制的,不存在共享。
主要由masterhost(master管理节点),segmenthost(segment数据节点),interconnect(网络)三大组件组成,segmenthost又包括primarysegment(主segment实例)及mirrorsegment(镜像segment实例)。
如下图所示:
其中各组件功能如下:
ØMasterhost(master管理节点)主要负责接收并分配查询等任务,是Greenplum环境与外界通信的入口。
并且,master管理节点不存储任何业务数据,只负责对各Segment数据节点抽取出的业务数据进行汇总,反馈给用户。
ØStandbymaster(Standbymaster管理节点)主要作为master管理节点的热备份节点,当master管理节点宕机时Standbymaster则扮演master管理节点角色。
ØNode/segmenthost(Segment数据节点)主要负责运行Segmentinstances(Segment实例)的服务进程,支撑多少个Segment实例取决于Segment数据节点CPU核数。
ØPrimarySegment(主实例)存放数据库一部分独立数据(即每个主实例存放的数据完全不一样),主要负责处理查询等任务,每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。
当加载数据至数据库时,数据库按既定的分配算法决定实例分别存放哪些数据,当master将执行计划发给各实例,各实例主要处理其负责的那部分数据。
ØMirrorsegment(镜像实例)主要作为PrimarySegment(主实例)的热备份节点,当PrimarySegment(主实例)不可用时Mirrorsegment(镜像实例)则扮演master管理节点角色。
ØInterconnectswitches(互连交换机)是Greenplum数据库环境的通信核心,主要负责各节点的通信交互。
11.2硬件环境
1.Master/Standby服务器
Master硬件信息
设备型号
华为RH2288HV2<1>
CPU
英特尔志强8核E5-2650V2处理器2*8core
内存
192G
磁盘
23*900GB
网卡端口
4*1GE+4*10GB口
服务器数量
2
2.,Segment服务器
Slaver硬件信息
设备型号
华为RH2288HV2<1>
CPU
英特尔志强8核E5-2650V2处理器2*8core
内存
192G
磁盘
23*900GB
网卡端口
4*1GE+4*10GB口
服务器数量
17(当前环境13台)
3.万兆网络
2台华为交换机9300做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合,实现负载均衡和容错。
11.3磁盘硬件RAID设计
考虑数据安全性、可靠性、运行性能和容量需求,在硬件方面采用RAID进行进行数据保护。
对于磁盘RAID设置要求:
ØRAID卡打开“WriteBack”Cache设置和“Readahead”读策略。
Ø分成2组RAID5:
12*900G+11*900G。
11.4网络IP规划
为了最大程度满足性能和可靠性的要求,集群配置了2台华为9300交换机,做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合(mode=4),实现负载均衡和容错。
由于采用网卡聚合技术,每台服务器只需配置一个IP地址,整个集群处于一个vlan之中。
用途
机器名
IP
GPDBMaster
jxgpmaster01
Standby
jxgpmaster02
Segment
jxgpseg05
12软件环境安装配置
12.1操作系统安装配置
12.1.1BIOS设置
Ø进入BIOS功能界面,开启BIOS超线程
✓开启
Ø验证BIOS超线程设置合规性:
A:
grep–i‘cpucores’|/proc/cpuinfo|wc–l
B:
grep–i‘processor’|/proc/cpuinfo|wc–l
Ø检查结果:
处理器数量是核数的2倍。
12.1.2操作系统安装设置
12.1.2.1安装操作系统基础包
操作系统版本:
RedhatEnterpriseLinuxServer(64bit)
Ø要求:
✓选择“最小”软件组方式安装RedHatEnterpriseLinux(64bit)
✓选中“现在自定义”选项,选择安装其他系统工具包。
12.1.2.2安装系统语言包
Ø要求:
操作系统安装过程中,请安装以下语言支持。
✓POSIXC 和locales在安装操作系统时安装。
即ThePOSIXCandlocalesmustbeinstalledduringtheOSinstallation.Additionallocalesmaybeinstalledasnecessarytosuitthecustomer.
✓以English(English)作为操作系统安装/登录时采用的语言。
✓除英文环境,在安装附加语言支持时,选择简体中文。
即、、、,等中文语言包需要在安装操作系统时一并安装。
12.1.2.3安装系统工具包
组件名称
组件功能
版本要求
验证检查
Kdump
系统信息转储工具
与操作系统相同版本
Servicekdumpstatus
Whichkdump
Ntp
时间同步服务
与操作系统相同版本
Servicentpdstatus
Perl
Perl语言工具包
与操作系统相同版本
Perl--version
Tcpdump
网络数据采集分析工具
与操作系统相同版本
whichTcpdump
Unzip/zlib5
解压工具
与操作系统相同版本
whichUnzip
Xfsdump
Xfs文件系统工具
与操作系统相同版本
whichXfsdump
Xfsprogs
Xfs文件系统工具
与操作系统相同版本
whichxfssprogs
Ed编辑器
与操作系统相同版本
whiched
jdk-6u43-linux-x64-rpm
Jdk工具,从Oracle下载安装
与操作系统相同版本
jdk–version
ipmi/ipmitool
远程管理诊断工具
与操作系统相同版本
ipmitool--V
Gdb
程序运行时调试工具
与操作系统相同版本
whichgdb
Pstack
程序运行时调试工具(依赖于gdb)
与操作系统相同版本
whichpstack
Nmon
系统性能监测工具
与操作系统相同版本
whichnmon
12.1.2.4开发语言连接驱动
开发语言连接数据库需要特定的驱动,目前Greenplum与第三方开发语言连接方式有如下规范:
ØGreenplum自带C/C++开发语言驱动,不需要安装任何驱动。
ØGreenplum自带JDBC/ODBC连接驱动,开发语言可通过JDBC或ODBC连接数据库,例如Java开发语言可通过JDBC连接数据库。
Ø对于自带有JDBC/ODBC连接驱动的开发语言,可直接通过自身的JDBC/ODBC连接数据库
ØPython及Perl开发语言不能通过JDBC/ODBC连接数据库,需通过DBD连接,则要在安装操作系统完成后独立部署安装。
例如LDS及SOR数据库集群开发语言是Perl,则是需要安装如下DBD驱动软件包。
12.1.2.5时区配置
Ø配置时区要求如下:
✓选择时区为东八区“亚洲/上海-中国东部”
✓Asia/ShanghaiEastChina–Beijing,Guangdong,Shanghai,etc.
✓系统时钟不使用UTC
12.1.2.6文件系统和分区配置
∙由于RAID磁盘组大于2T,建议采用parted分区,不采用LVM进行管理。
∙Greenplum官方推荐最适合的文件系统是XFS,其他文件系统类型原则上不推荐;
∙挂载点
大小
文件系统类型
说明
/
400G
ext4
安装操作系统和应用软件
/boot
200M
ext4
linux启动目录
无
192G
swap
系统交换空间
/data1
xfs
hadoop数据目录
/data2
xfs
hadoop数据目录
12.1.2.7网卡配置
每台服务器采取2网卡绑定的方式提高网络带宽(需要交换机支持),网卡绑定参考如下过程:
1.停止 NetworkManager服务
serviceNetworkManagerstop
chkconfigNetworkManageroff
2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=static
IPADDR=…
NETMASK=…
GATEWAY=…
USERCTL=no
3.分别修改每块slave网卡的设置文件,假设slave网卡为eth0,则按以下内容更改/etc/sysconfig/network-scripts/ifcfg-eth0文件:
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0
USERCTL=no
4.以步骤3的方式修改另一块slave网卡配置
5.编辑/etc/文件,加入以下内容
aliasbond0bonding
optionsbond0miimon=100mode=4
6.重启network服务
servicenetworkrestart
7.检查网络连通性
说明:
miimon是用来进行链路监测的。
比如:
miimon=100,那么系统每100ms监测一次链路连接状态,如果有一条线路不通就转入另一条线路;mode的值表示工作模式,共有0,1,2,3,4,5,6七种模式
12.2操作系统参数设置
设置
类型
内容
硬盘调度算法
elevator=deadline
内核参数
●设置方法
修改/boot/grub/找到kernel/vmlinuz-xxx这一行,在最后添加elevator=deadline/elevator=deadlinetransparent_hugepage=neve
●检查/验证方法
系统启动正常后,执行
cat/sys/block/*/queue/scheduler
应能看到:
noopanticipatorydeadline[cfq]
系统运行级别=3
系统设置
●设置方法
在/etc/inittab文件中,将行
id:
5:
initdefault
改成:
id:
3:
initdefault
●检查/验证方法
执行
cat/etc/inittab
应能看到:
id:
3:
initdefault
磁盘预读取
blockreadahead
=16384
(所有硬盘)
系统设置
●设置办法
修改/etc/增加两行
blockdev--setra16384/dev/sd*
●检查办法
系统重启后运行
blockdev--getra/dev/sd*
blockdev--getra/dev/vg0/*
应都是16384
语言与字符集
language=
系统设置
●设置办法
系统安装时指定。
●检查办法
登录系统,执行命令locale
结果应该是
系统设置
●设置办法
修改/etc/,增加以下内容:
=00
=00
=4096
=2505120001002048
=1
=1
=2048
=1
=0
=0
=1
=4096
=1
=102565535
=10000
=2097152
=2097152
=2
=/data1/coredump/core.%e.%p.%t.%u.%g
=0
=0
=1
=1
=65536
=2048
=65536
=0
=4096
=00
=2505120001002048
=1
=102565535
=1注:
如需增加连接数,可增加
然后执行sysctl-p。
●检查办法
用sysctl,检查上述各参数是否匹配。
用户资源限额
系统设置
●设置办法
修改/etc/security/
增加以下几行:
*softnofile1048576
*hardnofile1048576
*hardnproc1048576
*softnproc1048576
ulimit-cunlimited
#Endoffile
#gpadminsoftnproc131072
#gpadminhardnproc131072
*softnofile1048576
*hardnofile1048576
修改/etc/security/
增加以下几行:
*softnproc1048576
*hardnproc1048576
*softnofile1048576
*hardnofile1048576
ulimit-cunlimited
*softnproc1048576
*hardnproc1048576
●检查办法
用任意普通用户登录,执行ulimit-a,检查上述参数是否匹配。
12.3操作系统安全配置
12.3.1关闭防火墙和SELinux
Ø在操作系统安装过程中,关闭操作系统自带防火墙。
chkconfigiptablesoff
serviceiptablesstop
Ø关闭SELinux,设置/etc/selinux/config文件中SELINUX=disabled。
12.3.2关闭不必要的服务
关闭所有不需要的服务,减少这些服务对系统资源的占用。
部分LINUX服务信息如下:
系统服务名称
进程摘要
建议
abrt-ccpp
C/C++程序问题收集工具
关闭
Abrtd
AutomaticBugReportingTool
关闭
abrt-oops
内核严重异常信息收集工具
关闭
Acpid
ACPID事件监听和分发进程
关闭
Atd
定时任务进程
关闭
Auditd
系统审计进程
关闭
Autofs
Aufofs管理进程
关闭
avahi-daemon
本地网络服务查找
关闭
Bluetooth
蓝牙协议守护进程
关闭
Certmonger
认证期限监控
关闭
Cpuspeed
Cpu速率调整进程
关闭
Crond
定时任务进程
打开
Cups
Cups打印机进程
关闭
Firstboot
系统首次启动时的配置
关闭
Haldaemon
硬件信息维护和管理进程
关闭
ip6tables
ipv6包过滤软件防火墙进程
关闭
Iptables
包过滤软件防火墙进程
关闭
Irqbalance
中断平衡进程
打开
lvm2-monitor
lvm的mirror监控进程
关闭
Mdmonitor
软RAID监控进程
关闭
Messagebus
DBUS消息总线进程
关闭
Netfs
网络文件系统进程
关闭
Network
网络进程
打开
NetworkManager
网络自动管理进程
关闭
Nfslock
Nfs锁机制进程
关闭
Portreserve
RPC服务相关
关闭
Postfix
电子邮件服务
关闭
Rhnsd
操作系统自动更新进程
关闭
Rhsmcertd
在线更新订阅状态信息
关闭
Rpcbind
RPC服务相关
关闭
Rpcgssd
针对nfsv4客户端管理RPCSECGSScontexts进程
关闭
Rpcidmapd
RPC名字与UID/GID映射进程
关闭
Rsyslog
系统日志进程
打开
Sshd
系统日志进程
打开
Sysstat
系统统计信息进程
打开
udev-post
设备管理系统
关闭
Ipmi
远程诊断
打开
12.3.3禁止不用的用户登录
系统生成的默认用户,如ftp、nobody、lp等,默认情况下这些用户不可登录系统。
12.3.4配置security参数
序号
参数
参数名称
default
建议值
调整原则及注释
1
Umask
umask
umask=022
umask=022
增强安全性
2
TMOUT
登录shell超时设置
未设置
编辑/etc/profile文件TMOUT=120
exportTMOUT
增强安全性
12.4操作系统用户组和用户
Ø创建用户组及用户
Øgroupaddgpmon
Øuseradd-ggpmongpmon
组
GID
用户
UID
主目录
说明
Gpadmin
3030
gpadmin
3030
/home/gpadmin
Gp系统用户
Gpmon
3040
gpmon
3040
/home/gpmon
Gp监控用户
Ø设置用户初始密码
Gpadmin用户的密码为xxxx
Gpmon用户的密码为xxxx
12.5网络配置
按照数据仓库系统集群IP对应关系,配置所有节点的/etc/hosts文件,要求将所有节点的IP、服务器别名及服务器名都编辑到/etc/hosts文件,具体内容如下:
jxgpmaster01
jxgpmaster02
jxgpseg05
jxgpseg06
jxgpseg07
jxgpseg08
jxgpseg09
jxgpseg10
jxgpseg11
jxgpseg12
jxgpseg13
jxgpseg14
jxgpseg15
jxgpseg16
jxgpseg17
12.6集群NTP服务时钟同步配置
集群NTP服务配置要求:
选定时间同步服务器节点,然后编辑/etc/,输入时间同步服务器节点IP地址。
开启ntpd服务
servicentpdrestart
chkconfigntodonn
Ø验证集群NTP服务配置合规性:
执行命令:
Servicentpdstatus
执行结果:
Ntpd(pid5091)isrunning…
13数据库系统安装配置
13.1Greenplum软件安装
13.1.1软件及相关工具清单
ØGreenplum软件
13.1.2关闭不需要的服务(所有节点)
13.1.2.1防火墙
用以下命令关闭防火墙
serviceiptablessave
serviceiptablesstop
chkconfigiptablesoff
serviceip6tablessave
serviceip6tablesstop
chkconfigip6tablesoff
13.1.2.2其他需要关闭的服务
chkconfigavahi-daemonoff
chkconfigavahi-dnsconfdoff
chkconfigconmanoff
chkconfigbluetoothoff
chkconfigcpuspeedoff
chkconfigsetroubleshootoff
chkconfighiddoff
chkconfighplipoff
chkconfigisdnoff
chkconfigkudzuoff
chkconfigyum-updatesdoff
13.1.3启动IPMI服务(所有节点)
(IPMI(IntelligentPlatformManagementInterface)即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。
如果没有安装相关服务,建议安装),执行以下命令:
serviceipmistart
chkconfigipmion
13.1.4Master节点安装和多机信任
13.1.4.1软件安装
Ø软件安装目录:
/usr/local/
Ø在Master节点上,以root用户执行,按照提示进行安装。
cd/usr/local
Øtarzxvf<安装程序所在目录>/创建符号链接greenplum-db指向Greenplum安装目录,
13.1.4.2修改root用户环境变量配置
Ø修改root用户home的~/.bashrc配置文件,增加
source/usr/local/greenplum-db/
13.1.4.3root用户建立多机信任
使用root用户在Master主机上操作:
gpssh-exkeys-f./all-nodes(所有节点主机名)
∙验证配置:
选择某个节点,从master通过ssh命令连接,不输入任何密码。
∙检查结果:
可正常连接被信任节点。
13.1.4.4Greenplum节点数据目录
在相应节点按如下表的数据目录规则创建目录,并授予gpadmin用户所有操作权限。
节点
数据目录
目录属主
权限
目录用途
验证方式
Master/StandbyMaster
/data1/master
gpadmin
所有
节点数据目录
ls-lr/data1/master
Segment
/data1/p
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Greenplum 数据库 安装 方案