GPFS安装测试记录.docx

GPFS安装测试记录.docx

《GPFS安装测试记录.docx》由会员分享，可在线阅读，更多相关《GPFS安装测试记录.docx（24页珍藏版）》请在冰豆网上搜索。

GPFS安装测试记录

******

GPFS安装测试记录

思创数码科技股份有限公司

二零零九年十月

********GPFS安装测试小结

1.硬件结构配置：

本文主要描述基于双DS4800存储、双P570小机的GPFS的集群。

下文所涉及的全部参数设置和配置步骤源于IBM红皮书《DeployingOracle10gRAConAIXV5withGPFS》

节点

使用双IBMP570小机，硬件配置8CPU、32G内存。

存储

使用双IBMDS4800存储，存储A（DS4800A）分配数据磁盘、仲裁磁盘个两块、存储B（DS4800B）分配两块数据磁盘一块仲裁磁盘。

网络

每节点分别连接到公网和私网，私网用于RAC内部通讯和GPFS数据传输，公网用于实际对外应用接口。

下图是安装测试的基本环境图示。

2.操作系统配置：

Ø系统包安装要求

bos.adt.base

bos.adt.lib

bos.adt.libm

bos.perf.libperfstat

bos.perf.perfstat

bos.perf.proctools

rsct.basic.rte

pat.clients.rte

xlC.aix50.rte7.0.0.4or8.xxx

xlC.rte7.0.0.1or8.xxx

bos.adt.profa

bos.cifs_fs

（注：

由于没有GPFSforaix6.0的官方说明，上面提出的系统包是针对AIXV5.3系统的，但经过验证GPFSforaix6.0也同样适用）

Ø主机信任关系

ORACLERAC和GPFS集群都要求配置SSH或RSH,本文将采用RSH信任方式。

编辑或修改以下文件：

_/etc/hosts

_/etc/hosts.equiv

_Oracle或root用户的~/.rhosts文件

文件内容大致如下：

---------/etc/hosts--------

#Publicnetwork

10.158.116.140ncst01

10.158.116.141ncst02

#GPFSinterconnectnetwork

192.168.100.1ncst01-gpfs

192.168.100.2ncst02-gpfs

/etc/hosts.equiv和~/.rhosts文件内容

ncst01

ncst02

ncst01-gpfs

ncst02-gpfs

3.GPFS安装配置：

IBM的GPFS文件系统提供并行和串行应用。

GPFS允许应用程序同时访问同一文件或不同的文件。

在本次安装配置中，我们只配置一个GPFS文件系统。

Ø使用SMITTYINSTALLP安装如下文件：

gpfs.base3.2.1.5COMMITTEDGPFSFileManager

gpfs.msg.en_US3.2.1.5COMMITTEDGPFSServerMessages-U.S.English

gpfs.base3.2.1.5COMMITTEDGPFSFileManagerPath:

/usr/share/lib/objrepos

gpfs.docs.data3.2.1.5COMMITTEDGPFSServerManpagesandDocumentation

Ø手工创建以下三个文件并添加相关内容：

创建/etc/gpfs_config目录

1．/etc/gpfs_disks_oradata

hdisk2:

ncst01-gpfs:

ncst02-gpfs:

dataAndMetadata:

1:

nsdcopy_a1

hdisk3:

ncst01-gpfs:

ncst02-gpfs:

dataAndMetadata:

1:

nsdcopy_a2

hdisk16:

ncst02-gpfs:

ncst01-gpfs:

dataAndMetadata:

2:

nsdcopy_b1

hdisk17:

ncst02-gpfs:

ncst01-gpfs:

dataAndMetadata:

2:

nsdcopy_b2

相关语法如下：

DiskName:

PrimaryNSDServer:

BackupNSDServer:

DiskUsage:

FailureGroup:

DesiredName:

StoragePool

2．/etc/gpfs_disks_tb

hdisk9:

:

:

:

:

nsd_tb1

hdisk10:

:

:

:

:

nsd_tb2

hdisk24:

:

:

:

:

nsd_tb3

3．/etc/gpfs_nodes

ncst01-gpfs:

quorum-manager

ncst02-gpfs:

quorum-manager

Ø创建GPFS集群

使用mmcrcluster创建GPFS集群，并且指定如下参数设置。

mmcrcluster-N/etc/gpfs_nodes-pncst01-gpfs-sncst02-gpfs-Cncst_cluster–A

（-NNodeFile:

-pPrimaryServer:

-sSecondaryServer:

-CClusterName:

-AGPFS服务自动启动）

Ø查看GPFS集群信息

――――――――――――――――――――――――――――――――――――――

root@ncst01:

/etc/gpfs_config>mmlscluster

GPFSclusterinformation

========================

GPFSclustername:

ncst_cluster.ncst01-gpfs

GPFSclusterid:

720967500852369612

GPFSUIDdomain:

ncst_cluster.ncst02-gpfs

Remoteshellcommand:

/usr/bin/rsh

Remotefilecopycommand:

/usr/bin/rcp

GPFSclusterconfigurationservers:

-----------------------------------

Primaryserver:

ncst01-gpfs

Secondaryserver:

ncst02-gpfs

NodeDaemonnodenameIPaddressAdminnodename

Designation

-----------------------------------------------------------------------

1ncst01-gpfs192.168.100.1ncst01-gpfsquorum-manager

2ncst02-gpfs192.168.100.2ncst02-gpfsquorum-manager

―――――――――――――――――――――――――――――――――――――――

Ø创建数据共享磁盘

创建数据共享磁盘

ncst01:

/etc/gpfs_config>mmcrnsd-Fgpfs_disks_oradata

mmcrnsd:

Processingdiskhdisk2

mmcrnsd:

Processingdiskhdisk3

mmcrnsd:

Processingdiskhdisk16

mmcrnsd:

Processingdiskhdisk17

mmcrnsd:

6027-1371Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

ncst01:

/etc/gpfs_config>mmcrnsd-Fgpfs_disks_tb

mmcrnsd:

Processingdiskhdisk9

mmcrnsd:

Processingdiskhdisk10

mmcrnsd:

Processingdiskhdisk24

mmcrnsd:

6027-1371Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

Ø查看数据共享磁盘信息

使用mmcrnsd命令查看共享磁盘信息，输出大致如下：

ncst01:

/etc/gpfs_config>mmlsnsd

FilesystemDisknamePrimarynodeBackupnode

---------------------------------------------------------------------------

（freedisk）nsdcopy_a1ncst01-gpfsncst02-gpfs

（freedisk）nsdcopy_a2ncst01-gpfsncst02-gpfs

（freedisk）nsdcopy_b1ncst02-gpfsncst01-gpfs

（freedisk）nsdcopy_b2ncst02-gpfsncst01-gpfs

（freedisk）nsd_tb1（directlyattached）

（freedisk）nsd_tb2（directlyattached）

（freedisk）nsd_tb3（directlyattached）

同样可以使用mmlsnsd-a–m命令查看共享磁盘信息，内容输出大致相同。

Ø查看GFPS共享磁盘描述文件

/etc/gpfs_config>catgpfs_disks_oradata

hdisk2:

:

:

dataAndMetadata:

1:

nsdcopy_a1

hdisk3:

:

:

dataAndMetadata:

1:

nsdcopy_a2

hdisk16:

:

:

dataAndMetadata:

2:

nsdcopy_b1

hdisk17:

:

:

dataAndMetadata:

2:

nsdcopy_b2

此文件不可修改，后面还需使用此文件。

Ø改变集群仲裁或添加集群仲裁

mmchconfigtiebreakerDisks="nsd_tb3;nsd_tb4;nsd_tb5"

VerifyingGPFSisstoppedonallnodes...

mmchconfig:

Commandsuccessfullycompleted

mmchconfig:

6027-1371Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

在启动GPFS集群服务之前，必须配置仲裁磁盘（事关GPFS服务的正常运行）。

如果想在以后改变集群仲裁配置，必须首先在所有节点上停止GPFS服务。

Ø查看集群配置

root@ncst01:

/etc/gpfs_config>mmlsconfig

Configurationdataforclusterncst_cluster.ncst01-gpfs:

-------------------------------------------------------------------

clusterNamencst_cluster.ncst01-gpfs

clusterId720967500852369612

clusterTypelc

autoloadyes

useDiskLeaseyes

maxFeatureLevelAllowed906

tiebreakerDisksnsd_tb1;nsd_tb2;nsd_tb3

[ncst01-gpfs]

takeOverSdrServyes

Filesystemsinclusterncst_cluster.ncst-gpfs:

------------------------------------------------------------

（none）

Ø启动GPFS集群

root@ncst01:

/etc/gpfs_config>mmstartup-a

WedSep1211:

57:

24CDT2007:

6027-1642mmstartup:

StartingGPFS...

－a参数用于启动所有节点的GPFS集群

Ø创建GPFS文件系统

mmcrfs/gpfsgpfs-Fgpfs_disks_oradata-Ayes-B512k-M2-m2-R2-r2-n10-N500000

CreatingInodeFile

CreatingAllocationMaps

ClearingInodeAllocationMap

ClearingBlockAllocationMap

GPFS:

6027-572Completedcreationoffilesystem/dev/gpfs.

mmcrfs:

6027-1371Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

参数描述

/gpfs文件挂载目录

gpfs系统文件创建名称/dev/gpfs

-FDiskdescriptionfile磁盘描述文件

-Ayes服务启动自动挂载

-BBlockSize数据块大小

-mDefaultMetadataReplicas数据目录拷贝份数参数1或2

-RMaxDataReplicasDATA拷贝份数参数1或2

-rDefaultDataReplicas数据块拷贝份数参数1或2

-NNumInodes最大系统文件数

Ø挂载文件系统

root@ncst01:

/etc/gpfs_config>mmmountall-a

WedSep1212:

17:

08CDT2007:

6027-1623mmmount:

Mountingfilesystems...

-a挂载所有GPFS集群成员目录

Ø查看GPFS磁盘使用情况

root@ncst01:

/etc/gpfs_config>mmdfgpfs

diskdisksizefailureholdsholdsfreeKBfreeKB

nameinKBgroupmetadatadatainfullblocksinfragments

----------------------------------------------------------------------------------------

Disksinstoragepool:

system（Maximumdisksizeallowedis2.8TB）

nsdcopy_a12097152001yesyes202811392（97%）1184（0%）

nsdcopy_a22097152001yesyes202812416（97%）1120（0%）

nsdcopy_b12097152002yesyes202812416（97%）880（0%）

nsdcopy_b22097152002yesyes202811392（97%）1424（0%）

----------------------------------------------------

（pooltotal）838860800811247616（97%）4608（0%）

====================================================

（total）838860800811247616（97%）4608（0%）

注：

如上输出需注意nsdcopy_a1的可用大小不一定和nsdcopy_b1相同，这是因为GPFS磁盘组镜像不是以单个磁盘来实现的，而是以组的状态来整体实现的。

及nsdcopy_a1、nsdcopy_a2的可用空间一定和nsdcopy_b1、nsdcopy_b2的可用空间相同。

4.GPFS故障测试

GPFS故障测试分五项进行：

第一项：

磁盘增加测试

Ø首先查看原始磁盘的状态

root@ncst01:

/etc/gpfs_config>mmdfgpfs

diskdisksizefailureholdsholdsfreeKBfreeKB

nameinKBgroupmetadatadatainfullblocksinfragments

----------------------------------------------------------------------------------------

Disksinstoragepool:

system（Maximumdisksizeallowedis2.8TB）

nsdcopy_a12097152001yesyes202811392（97%）1184（0%）

nsdcopy_a22097152001yesyes202812416（97%）1120（0%）

nsdcopy_b12097152002yesyes202812416（97%）880（0%）

nsdcopy_b22097152002yesyes202811392（97%）1424（0%）

----------------------------------------------------

（pooltotal）838860800811247616（97%）4608（0%）

====================================================

（total）838860800811247616（97%）4608（0%）

Ø编辑文件/etc/gpfs_disks_oradata_add添加内容

hdisk4:

ncst01-gpfs:

ncst02-gpfs:

dataAndMetadata:

1:

nsdcopy_a3

hdisk5:

ncst01-gpfs:

ncst02-gpfs:

dataAndMetadata:

1:

nsdcopy_a4

hdisk18:

ncst02-gpfs:

ncst01-gpfs:

dataAndMetadata:

2:

nsdcopy_b3

hdisk19:

ncst02-gpfs:

ncst01-gpfs:

dataAndMetadata:

2:

nsdcopy_b4

Ø创建GPFS共享磁盘

mmcrnsd-Fgpfs_disks_oradata_add

Ø添加共享磁盘

mmadddiskgpfs-Fgpfs_disks_oradata_add–r

Ø查看磁盘添加后的状态

root@ncst01:

/etc/gpfs_config>mmdfgpfs

diskdisksizefailureholdsholdsfreeKBfreeKB

nameinKBgroupmetadatadatainfullblocksinfragments

----------------------------------------------------------------------------------------

Disksinstoragepool:

system（Maximumdisksizeallowedis2.8TB）

nsdcopy_a12097152001yesyes205160448（98%）2672（0%）

nsdcopy_a22097152001yesyes205141504（98%）2000（0%）

nsdcopy_a410485761yesyes1024512（98%）992（0%）

nsdcopy_a32097152001yesyes205051392（98%）2704（0%）

nsdcopy_b22097152002yesyes205102592（98%）3424（0%）

nsdcopy_b12097152002yesyes205075456（98%）2048（0%）

nsdcopy_b32097152002yesyes205180416（98%）864（0%）

nsdcopy_b410485762yesyes1020928（97%）496（0%）

----------------------------------------------------

（pooltotal）12603883521232757248（98%）15200（0%）

====================================================

（total）12603883521232757248（98%）15200（0%）

Ø测试结果

成功添加四块磁盘，并且新添加进去的磁盘在原有磁盘组内部自动进行数据同步

第二项：

ncst01故障测试

将主机ncst01直接关机，查看第二节点（ncst02）/gpfs目录访问是否正常

Ø测试结果

第二节点（ncst02）/gpfs目录访问正常，

查看管理节点

#mmlsmgr

filesystemmanagernode

----------------------------------

gpfs193.168.100.2（ncst02-gpfs）

查看pgfs磁盘组状态

#mmdfgpfs

diskdisksizefailureholdsholdsfreeKBfreeKB

nameinKBgroupmetadatadatainfullblocksinfragments

----------------------------------------------------------------------------------------

Disksinstoragepool:

system（Maximumdisksi