Red Hat HPC 54 安装指南.docx
- 文档编号:10043201
- 上传时间:2023-02-08
- 格式:DOCX
- 页数:24
- 大小:372.07KB
Red Hat HPC 54 安装指南.docx
《Red Hat HPC 54 安装指南.docx》由会员分享,可在线阅读,更多相关《Red Hat HPC 54 安装指南.docx(24页珍藏版)》请在冰豆网上搜索。
RedHatHPC54安装指南
RedHatHPC5.4安装指南
一、安装准备
RedHatHPC需要一台主机来做为安装节点(installnode)。
集群中的其他节点将会通过安装节点来安装。
在安装RedHatHPC之前,需要先安装RedHatEnterpriseLinux5.4,其他要求如下:
•根分区至少40G以上空余空间
•关闭SELinux
•一块或以上的网卡,使用静态IP,并和其他需要安装的节点在同一网络中
•RedHatEnterpriseLinuxVersion5.4的安装介质.
•通过yum安装来安装HPC,因此需要先配置yum安装源(OS安装源、HPC安装源)
二、安装过程
通过yum安装来安装HPC,因此需要先配置yum安装源(OS安装源、HPC安装源)
2.1配置yum源
这里设定将RedHat的操作系统安装盘放在/var/rhel目录下,hpc的安装文件放在/var/hpc目录下
#mkdir/var/rhel/var/hpc
将Redhat的安装光盘拷贝到/var/rhel目录中
#mount/dev/cdrom/mnt
#cp-ap/mnt/*/var/rhel
#eject
将HPC的光盘拷贝到/var/hpc目录下
#mount/dev/cdrom/mnt
#cp-ap/mnt/*/var/hpc
#eject
在/etc/yum.repo.d目录下新建2个文件,名字分别为server.repo、hpc.repo,内容如下:
server.repo
[Server]
name=rhel5.4
baseurl=file:
///var/rhel/Server
hpc.repo
[hpc]
name=HPC
baseurl=file:
///var/hpc5.4
导入redhat的rpm软件包的gpg签名
#rpm--import/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
2.2HPC基本安装
以root用户登入系统并安装RedHatHPC软件包:
#yuminstallpcmmod_ssl
pcmRPM安装完成之后,将pcm的环境变量导入到当前环境中:
#source/etc/profile.d/kusuenv.sh
运行安装配置脚本
#/opt/kusu/sbin/pcm-setup
以下是安装的输出内容,省略了部分内容。
红色部分为用户输入的内容
ShortHostname=master
Timezone=Asia/Shanghai
UTCtime=1
………………………………
Detectednetworkinterfaces:
eth0
=============================================================
IP=192.168.10.10Enabled=True
Network=192.168.10.0Subnet=255.255.255.0
MAC=54:
52:
00:
5C:
98:
4EGateway=
DHCP=FalseBoot=1
…………………………
Doyouwishtocontinue[N/y]?
y
PCMcreatesaDNSdomainforallnodesitinstalls.ThisnodewillfunctionasaprimaryDNSserverforthisdomain.
EntertheprivateDNSdomaintocreate[default:
pcm]:
cae.dpca
PCMrequiresadepotdirectorytostorekits,imagesandotherfiles
Aminimumof10Gbytesisneeded.
Wouldyouliketousethedefault/depotdirectory[N/y]?
y
Startingpostgresqlservice:
[OK]
Settingpermissions
TheOSmediaisneededatthistime.DoyouhaveOSmediaon
Disks,ISO,orFilesystem?
(Disk|Iso|File)[Disk]File
EnterthefullyqualifiedpathtotheISOfile,orthedirectorycontainingthefiles:
/var/rhel
Copyingthemedia.Pleasewaitthiswilltakesometime!
AnymoredisksforthisOSkit?
[y/n]
n
Pleaseinsertnextdiskifinstallingfromphys.mediaNOW
(URIfornextISO|blankifphys.media|Ntofinish):
N
……………………………………
Settinguprepository.Pleasewait
Kit:
rhel5.4,version5,architecturex86_64,hasbeenaddedtorepo:
rhel5_x86_64.Remembertorefreshwith-u
Kit:
base,version5.4,architecturenoarch,hasbeenaddedtorepo:
rhel5_x86_64.Remembertorefreshwith-u
Refreshingrepo:
rhel5_x86_64.Thismaytakeawhile...
……………………………………
-Allexistingreposin/etc/yum.repos.dhavebeendisabled.Pleasere-enable
anyrequiredreposmanually.
-Run`yumsearchpcm-kit`toseealistingofavailablekitstoinstall
Congratulations!
Thebasekitisinstalledandconfiguredtoprovisionon:
Network192.168.10.0oninterfaceeth0
运行完成后,HPC的base-kit就安装完成了,接下来可以进行计算节点的分发部署。
RedHatHPC在安装过程中会提示设置安装目录的位置,默认情况下该目录为/depot,如果使用其他目录,那么会自动为这个目录建立一个名为/depot的软链接。
pcm安装程序使用系统安装盘来建立一个本地软件安装源,当其他节点通过安装节点来安装的时候,将会使用这个软件安装源来安装操作系统。
警告
pcm会新建一个DNS区域用于集群内部解析,不要和外部网络使用相同的DNS区域
2.3设置计算节点的起始IP
在HPC中,计算节点的eth0的IP地址都是有管理节点自动分配的,因此需要预先定义IP地址分配的规则。
运行如下命令
#netedit
按照如下图示编辑网络设置。
2.4编辑计算节点的配置
在HPC中计算节点配置是按照组别来进行划分的,管理节点安装完成后会自动建立几个组。
一般计算解点都属于compute-rhel组。
使用如下命令来修改计算节点的具体配置:
#ngedit
设置计算节点的名称格式
设置计算节点的软件安装源
设置计算节点的内核以及启动参数
选择计算节点的安装组件,保持默认即可
选择计算节点通过哪个网卡分发
选择计算节点的额外软件包,保持默认即可
设置计算节点安装完成后自动运行的脚本,保持默认即可
设置计算节点的分区大小
保存之前的设置
2.5计算节点的安装
在安装计算节点之前还需要作一些额外的设置。
将一些必要的文件拷贝到web服务的目录中
#cp/opt/kusu/etc/db.passwd/var/www/html/
#chmod+r/var/www/html/db.passwd
#cp/root/.ssh/authorized_keys/var/www/html/public_keys
#chmod+r/var/www/html/public_keys
建立计算节点的kickstar自动安装配置文件。
在/var/www/html目录下建立cfg目录,并生成计算节点的配置文件(node-60-00.cfg、node-60-01.cfg等)内容如下:
#mkdir/var/www/html/cfg
node-60-00.cfg
#Redhatkickstarttemplate
#$Id:
kickstart.tmpl31402008-03-1517:
13:
11Zggoh$
#Copyright2007PlatformComputingInc.
#LicensedunderGPLversion2;SeeLICENSEfilefordetails.
install
#Definetheinstallationnumber.
key--skip
url--urlhttp:
//192.168.10.10/repos/1000
rootpw--iscrypted$1$12727774$kIoz3FKnJnZ./oj6qlo5I.
langen
langsupport--default=enen
keyboardus
network--bootprotostatic--device=eth0--ip=192.168.10.50--netmask=255.255.255.0--onboot=yes--gateway=192.168.10.10--nameserver=192.168.10.10--hostnamenode-60-00.cae.dpca--noipv6
network--deviceeth4--bootprotostatic--ip192.168.50.50--netmask255.255.255.0
firewall--disabled
selinux--disabled
firstboot--disable
authconfig--enableshadow--enablemd5
timezoneAsia/Shanghai
bootloader--location=mbr--driveorder=sda
skipx
#clearpart--all
clearpart—all—drives=sda
part/--fstype=ext3—size=31920--ondisk=sda
partswap--fstype=swap—size=16000--ondisk=sda
reboot
%packages
component-base-node
@base
ntp
%post
mkdir/root/.ssh
wgethttp:
//192.168.10.10/public_keys-O/root/.ssh/authorized_keys
chmod600/root/.ssh/authorized_keys
mkdir/etc/cfm
cat>/etc/cfm/.cfmsecret< Gwwn8EwOIjQfu3BFTO7tKTlMGNpBnXy8V3liV4AwDWk= EOF chmod600/etc/cfm/.cfmsecret cd/opt/kusu/etc wgethttp: //192.168.10.10/db.passwd chmod600/opt/kusu/etc/db.passwd cat>/etc/profile.nii< #! /bin/sh # #Thisfileisgeneratedatinstalltime.Itcontainsall #ofthevariablesthatwereusedtoinstallthisnode. # exportNII_HOSTNAME=node-60-00 exportNII_NGID=2 exportNII_NGTYPE="compute" exportNII_INSTALLERS="192.168.10.10" exportNII_REPO="/repos/1000" exportNII_REPOID="1000" exportNII_OSTYPE="rhel-5-x86_64" exportNII_INSTALLTYPE="package" #NICDefinitionsDevice: IP: Subnet: Network: suffix: gateway: dhcp: options exportNII_NICDEF0="eth0|192.168.10.50|255.255.255.0|192.168.10.0|-eth0|192.168.10.10|0|" exportCFMBaseDir="/opt/kusu/cfm" exportDEPOT_REPOS_POST="/depot/repos/post_scripts" exportDEPOT_REPOS_ROOT="/depot/repos" exportDEPOT_AUTOINST_ROOT="/depot/repos/instconf" exportInstallerServeNFS="1" exportDNSZone="pcm" exportRHHPC_VERSION="5.4" exportDEPOT_REPOS_SCRIPTS="/depot/repos/custom_scripts" exportTimezone_utc="1" exportTimezone_zone="Asia/Shanghai" exportDEPOT_UPDATES_ROOT="/depot/updates" exportLanguage="en" exportDEPOT_CONTRIB_ROOT="/depot/contrib" exportDbSchemaVers="1" exportPublicDNSZone="" exportInstallerServeNTP="1" exportPrimaryInstaller="master" exportDEPOT_IMAGES_ROOT="/depot/images" exportInstallerServeNIS="0" exportdns1="127.0.0.1" exportInstallerServeDNS="1" exportDEPOT_KITS_ROOT="/depot/kits" exportImageBaseDir="/depot/images" exportPIXIE_ROOT="/tftpboot/kusu" exportKeyboard="us" exportPROVISION="KUSU" EOF /opt/kusu/bin/updatestate/etc/profile.nii 请根据上述文件生成各个计算节点的配置文件,注意修改上述文件中红色的部分。 在管理节点上运行如下命令等待计算节点安装 #addhost 选择安装网卡 设置计算节点的名字(这里输入计算节点所在的机柜号) 等待计算节点启动 依次启动计算节点,计算节点会通过PXE启动,addhost会截获相关的信息,并在/tftpboot/kusu/pxelinux.cfg目录下生成相关的文件。 需要对相关文件进行修改。 自动生成的文件名格式为01-MAC,修改这几个文件(注意和主机的对应关系),以下是node-60-00的配置文件名字和内容 01-00-21-28-6f-d5-ca #PXEfilefor: node-60-00 defaultlocaldisk prompt0 labellocaldisk localboot0 labelReinstall kernelkernel-rhel5.4-5-x86_64 appendinitrd=initrd-rhel5.4-5-x86_64.imgsyslog=192.168.10.10: 514niihost=192.168.10.10ks=http: //192.168.10.10/repos/1000/ks.cfg.192.168.10.10ksdevice=eth0textnoipv6kssendmacselinux=0 以上是原始内容,修改为如下: 01-00-21-28-6f-d5-ca #PXEfilefor: node-60-00 defaultlocaldisk prompt0 labellocaldisk localboot0 labelReinstall kernelkernel-rhel5.4-5-x86_64 appendinitrd=initrd-rhel5.4-5-x86_64.imgsyslog=192.168.10.10: 514niihost=192.168.10.10ks=http: //192.168.10.10/cfg/node-60-00.cfgksdevice=eth0textnoipv6kssendmacselinux=0 依次修改各个计算节点的配置文件。 然后重新启动各个计算节点,计算节点将会自动按照配置进行安装。 安装完成后,在管理节点上退出addhost命令。 2.6HPC相关其他组件安装 上述安装完成后,管理节点和计算节点只是安装了基本的操作系统和基本的HPC组件。 还需要将其余的组件(lava、cacti等)安装到节点上。 在管理节点基本HPC安装完成后,会自动将我们配置的yum源屏蔽掉。 在安装其他HPC组件的之前,需要将其打开。 #mv/etc/yum.repo.d/hpc.repo.disabled/etc/yum.repo.d/hpc.repo 安装组件的预安装脚本 #yuminstallpcm-kit-lavapcm-kit-gangliapcm-kit-nagiospcm-kit-cacti-y 安装相关组件 #install-kit-lava;install-kit-ganglia;install-kit-nagios;install-kit-cacti 安装完成后,计算节点将会自动安装以上组件。 三、安装后配置 安装完成后还需要对集群设置作一些调整。 3.1计算节点的FC存储的挂载 计算节点上有2块HBA卡连接到NetApp存储的FC模块上。 需要安装HBA的驱动,同时配置多路径软件以支持HBA卡的冗余。 HBA卡驱动安装 将qlogic的驱动拷贝到计算节点中,这里以/root目录为例子。 安装过程如下: #tarzxvfqla2xxx-v8.02.23_4-dist.tgz #cdqlogic #./drvrsetup #cdqla2xxx-8.02.23 #./extras/build.shinstall 驱动安装完成后,默认设置会将HBA的多路径自动打开。 我们需要将其多路径关闭,使用redhat系统自带的多路径,以便可以使用NetApp的优化路径。 修改/etc/modprofile.conf,内容如下: aliaseth0forcedeth aliaseth1forcedeth aliaseth2forcedeth aliaseth3forcedeth aliaseth4e1000e aliaseth5e1000e aliaseth6e1000e aliaseth7e1000e aliasscsi_hostadapteraacraid aliasscsi_hostadapter1sata_nv aliasscsi_hostadapter2qla2xxx optionsqla2xxxql2xfailover=0 aliasscsi_hostadapter3usb-storage installqla2xxx/sbin/modprobeqla2xxx_conf;/sbin/modprobe--ignore-installqla2xxx removeqla2xxx/sbin/modprobe-r--first-time--ignore-removeqla2xxx&&{/sbin/modprobe-r--ignore-removeqla2xxx_conf;} aliasqla2100qla2xxx aliasqla2200qla2xxx aliasqla2300qla2xxx aliasqla2322qla2xxx aliasqla2400qla2xxx 重新建立启动映像文件 #cd/boot #mkinitrd-finitrd-2.6.18-164.el5.img`uname-r` 配置系统多路径 安装完成HBA驱动后,需要重新启动机器才能生效。 新的驱动生效后,就可以配置多路径了。 修改/etc/multipath.conf文件,内容如下: defaults { user_friendly_namesyes max_fdsmax queue_without_daemonno } blacklist { devnode"^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode"^hd[a-z]" devnode"^cciss! c[0-9]d[0-9]*[p[0-9]*]" } devices { device { vendor"NETAPP" product"LUN" getuid_callout"/sbin/scsi_id-g-u-s/block/%n" prio_callout"/sbin/mpath_prio_ontap/dev/%n" fe
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Red Hat HPC 54 安装指南 安装 指南