12 Openfile架设iscsi存储.docx

12 Openfile架设iscsi存储.docx

《12 Openfile架设iscsi存储.docx》由会员分享，可在线阅读，更多相关《12 Openfile架设iscsi存储.docx（16页珍藏版）》请在冰豆网上搜索。

12Openfile架设iscsi存储

技术文档模板

（v111210）

作者

王卫锋

审核

分类

Storage

子类

NAS

更新时间

2011-12-10

关键字

Openfile，iscsi

摘要

使用Openfile软件，架设一个简单易用的使用iscsi协议的NAS存储；

主要适用环境

Openfile2.3，Solaris10

版本说明

版本号

拟制/修改责任人

拟制/修改日期

修改内容/理由

V111210

王卫锋

2011-11-10

新建

目录

版本说明2

1系统和软硬件环境说明4

2Openfile功能说明4

3在PC机上安装Openfiler2.3，使其作为网络共享存储设备4

4对新安装的Openfiler做基本设置5

5配置iSCSI卷及设置iSCSITarget5

6修改/etc/hosts文件，并关闭sendmail服务6

7在所有RAC节点上配置iSCSI卷（iSCSIVolumes）6

7.1安装iscsi-target驱动（两个RAC节点都执行）7

7.2配置iscsiinitiator服务7

7.3把共享盘格式化并分区（只在一个RAC节点执行即可）8

7.4给共享磁盘建立软连接12

1系统和软硬件环境说明

硬件环境：

x86服务器

软件环境：

Openfile2.3

Solaris10

2Openfile功能说明

Openfiler是一个开源的网络共享存储（SAN/NAS）软件，可以让我们在普通的PC机上构建共享存储（在VMWare虚拟机中用Openfiler建立的共享存储也可以顺利完成RAC系统的安装），既可以满足开发环境的需求且非常廉价，相比昂贵的专业级SAN/NAS设备（如EMC,NetApp等厂家的产品）可以节省很多。

关于Openfiler系统的安装及后续设置，Hunter的文章中写的非常详细了，网上相关的文章也非常多，就不写在这里了，我只把容易出错的地方列出来（其详细的安装和配置过程写在另外一个文章中“安装Openfiler2.3作为共享存储设备”）。

3在PC机上安装Openfiler2.3，使其作为网络共享存储设备

这里再说一下配置，内存1G就够，如果用于生产环境4G更好；网卡2块，普通的Relteck网卡Openfiler系统都能识别，这里第2个网卡是主板集成的千兆网卡；

主要是硬盘共3块，1个80G用于安装Openfiler2.3系统，其余2个都是1T容量SATA接口32M缓存的大容量硬盘，建立开发环境选择普通的SATA硬盘做存储就可以

了，在生产环境中都是SAS接口的高速硬盘。

我的安装使用了Openfiler2.3提供的软raid功能，与Hunter的文章中不太一样（我把2个硬盘做了条带），但在RAC系统的安装过程中没有什么区别。

这里只把需要

的地方列出来作为重点。

注意：

在安装Openfiler系统时，先不安装2个1T的硬盘，在系统安装完毕后再挂上2个1T硬盘，进行存储划分。

把存储系统的IP设置列出来：

4对新安装的Openfiler做基本设置

Openfiler2.3启动后会给出提示，管理界面的地址是：

https:

//192.168.1.195:

446/（默认用户名：

openfiler，密码：

password）

（1）启动必须的服务，进入“Services”页面，把“iSCSItargetserver”和“iSCSIinitiator”两个服务的状态（Status）都要置为“Enabled”

（2）配置网络访问，进入“System”页面，在页面下方的“NetworkAccessConfiguration”中，写入截图中的内容，再点击“Update”提交。

这里特别说明一下，我们写的是网段192.168.2.0而且要写PrivateNetworks私有地址的网段，掩码要与网段对应所以要选择255.255.255.0；如果写的是具体的地址如：

192.168.2.151和192.168.2.152，掩码就要选择255.255.255.255，否则在两个RAC节点不能发现共享存储。

5配置iSCSI卷及设置iSCSITarget

配置iSCSI卷分为几个步骤：

块设备（BlockDevices）→软RAID（SoftwareRAID）→卷组（VolumeGroup）→逻辑卷（Volume）→iSCSITarget

这里具体的配置过程从略，只把最后的IQNTarget列出来（具体配置在“安装Openfiler2.3作为共享存储设备”一篇附属文章中）

6修改/etc/hosts文件，并关闭sendmail服务

关闭sendmail服务

#chkconfigsendmailoff

最后再把hosts文件修改一下，把两个RAC节点的IP地址和主机名写入。

#vi/etc/hosts

修改为

#

127.0.0.1localhost.localdomainlocalhost

#

192.168.1.151racnode1

192.168.1.152racnode2

#

192.168.2.151racnode1-priv

192.168.2.152racnode2-priv

#

192.168.1.195openfiler1

192.168.2.195openfiler1-priv

7在所有RAC节点上配置iSCSI卷（iSCSIVolumes）

在前面的操作中，已经把共享存储设备建立好了并建立了8个逻辑卷及相对应的IQNTarget，在这一步中就是要在RAC节点上发现这些IQN，并把其引入作为本地磁盘使用。

完成这一步要分几个小的步骤，首先要检查Solaris系统是否安装了iscsi-target驱动，其次是配置iscsiinitiator服务，最后把引入的磁盘格式化并分区。

7.1安装iscsi-target驱动（两个RAC节点都执行）

我们在安装Solaris10系统时选择安装了全部包，所以该服务就自动安装好了，并自动启动了；如果没有全部安装所以包，就要检查是否安装了以下4个包SUNWiscsir、

SUNWiscsitgtr、SUNWiscsitgtu、SUNWiscsiu。

使用命令-bash-3.00#pkginfo-i包名来检测4个包是否都安装了

执行以下命令添加包

-bash-3.00#pkgadd-d/cdrom/SOL_10_1009_X86/SOLARIS_10/PRODUCTSUNWiscsir

把4个包都安装好后，服务自动启动。

7.2配置iscsiinitiator服务

在每个RAC节点上都执行以下命令，用来发现共享存储

-bash-3.00#iscsiadmadddiscovery-address192.168.2.195:

3260（添加发现的地址，写Openfiler共享存储的私网地址，端口号：

3260）

-bash-3.00#iscsiadmmodifydiscovery--sendtargetsenable（启用sendtargets功能）

-bash-3.00#iscsiadmmodifydiscovery--staticenable

-bash-3.00#iscsiadmlisttarget-S

如果要删除发现地址，使用命令

-bash-3.00#iscsiadmremovediscovery-address192.168.2.195（在Solaris系统中只敲入iscsiadm命令，系统会显示相关的用法。

）

输入完第4个命令后回车，应立即显示出以下内容，为节省篇幅把其写在表格中

最后一个命令录入完后回车，系统会把在Openfiler共享存储中建好的9个IQNTarget依次列出，其中加粗标红显示的就是在本地的裸设备名称，在Solaris系统中

系统每次重启后IQNTarget的顺序不会改变，不用象Linux系统中那样建立规则脚本，有一种特殊情况提一下，如果两个RAC节点对同一个IQN分配的磁盘号不同，就

需要通过建立软连接解决了，把不同的设备号映射为相同的名称问题就解决了，这会在后面介绍。

注意：

如果输入完iscsiadmlisttarget-S命令后系统没有显示任何内容，代表设置有错误存在，RAC节点没有成功发现共享存储设备，请检查以下4点：

①如果是在VMWare中安装部署，所有主机的网卡连接方式一定要选择“Bridged”桥接方式（使用物理网络）。

②Openfiler中访问控制的网段或IP地址的掩码要写对，如果写的是网段如192.168.2.0则对应255.255.255.0（注意是3个255和1个零）；如果写的是IP地址如

192.168.2.151则对应255.255.255.255（注意是4个255）。

③在Openfiler中建立的iSCSITarget中的“NetworkACL”页面中网段或IP一定要设置为“Allow”允许访问。

④Openfiler共享存储中的“Services”页面中的“iSCSItargetserver”和“iSCSIinitiator”两个服务必须启动。

如果以上4点有一个设置不对，共享存储都是不能被发现的，如有问题，请在这4个方面检查。

7.3把共享盘格式化并分区（只在一个RAC节点执行即可）

在格式化前先说一下Solaris系统中对磁盘的管理，Solaris中每个磁盘分为6个片（slice），上面列出的如：

/dev/rdsk/c3t10d0s2，其中s2代表整个磁盘，所以6个片是s1到s7，下面配合截图说明格式化和分区。

分区使用以下命令

-bash-3.00#/usr/sbin/format（直接写format也可以）

系统会显示以下内容，其中包括系统盘和9个网络共享磁盘（1到9是共享磁盘）

Searchingfordisks...done

AVAILABLEDISKSELECTIONS:

0.c0d0

/pci@0,0/pci-ide@7,1/ide@0/cmdk@0,0

1.c3t10d0

/iscsi/disk@0000i.openfiler%3Arac.crs10001,0

2.c3t11d0

/iscsi/disk@0000i.openfiler%3Arac.crs20001,0

3.c3t12d0

/iscsi/disk@0000i.openfiler%3Arac.asm10001,0

4.c3t13d0

/iscsi/disk@0000i.openfiler%3Arac.asm20001,0

5.c3t14d0

/iscsi/disk@0000i.openfiler%3Arac.asm30001,0

6.c3t15d0

/iscsi/disk@0000i.openfiler%3Arac.asm40001,0

7.c3t16d0

/iscsi/disk@0000i.openfiler%3Arac.fra10001,0

8.c3t17d0

/iscsi/disk@0000i.openfiler%3Arac.fra20001,0

9.c3t18d0

/iscsi/disk@0000iqn.openfiler%3Arac.spfile0001,0

Specifydisk（enteritsnumber）:

1（回车）

我们首先把rac.crs1盘格式化分区，根据提示输入盘号“1”，进入格式化，系统显示

selectingc3t10d0

[diskformatted]

FORMATMENU:

disk-selectadisk

type-select（define）adisktype

partition-select（define）apartitiontable

current-describethecurrentdisk

format-formatandanalyzethedisk

fdisk-runthefdiskprogram

repair-repairadefectivesector

label-writelabeltothedisk

analyze-surfaceanalysis

defect-defectlistmanagement

backup-searchforbackuplabels

verify-readanddisplaylabels

save-savenewdisk/partitiondefinitions

inquiry-showvendor,productandrevision

volname-set8-charactervolumename

!

-execute,thenreturn

quit

format>p（回车）

WARNING-Thisdiskmaybeinusebyanapplicationthathas

modifiedthefdisktable.Ensurethatthisdiskis

notcurrentlyinusebeforeproceedingtousefdisk.

由于是新磁盘，没有使用过，所以要先执行“fdisk”命令，否则会报错

执行fdisk命令

format>fdisk

系统显示以下内容，并根据提示输入“y”

Nofdisktableexists.Thedefaultpartitionforthediskis:

a100%"SOLARISSystem"partition

Type"y"toacceptthedefaultpartition,otherwisetype"n"toeditthe

partitiontable.

y（回车）

接下来在foramt>提示符下输入“p”，进入分区程序（红字为系统显示，黑字为用户录入）：

format>p（进入分区程序）

PARTITIONMENU:

0-change`0'partition

1-change`1'partition

爱相随e-mail:

zhsalei@,msn:

zhsalei@

Oracle11gR2RAC在Solaris10_x86_64上的安装

12

2-change`2'partition

3-change`3'partition

4-change`4'partition

5-change`5'partition

6-change`6'partition

7-change`7'partition

select-selectapredefinedtable

modify-modifyapredefinedpartitiontable

name-namethecurrenttable

print-displaythecurrenttable

label-writepartitionmapandlabeltothedisk

!

-execute,thenreturn

quit

partition>p（再次录入“p”，显示一下分区情况）

Currentpartitiontable（original）:

Totaldiskcylindersavailable:

2044+2（reservedcylinders）

PartTagFlagCylindersSizeBlocks

0unassignedwm00（0/0/0）0

1unassignedwm00（0/0/0）0

2backupwu0-20433.99GB（2044/0/0）8372224

3unassignedwm00（0/0/0）0

4unassignedwm00（0/0/0）0

5unassignedwm00（0/0/0）0

6unassignedwm00（0/0/0）0

7unassignedwm00（0/0/0）0

8bootwu0-02.00MB（1/0/0）4096

9unassignedwm00（0/0/0）0

partition>6（给片6分配空间）

PartTagFlagCylindersSizeBlocks

6unassignedwm00（0/0/0）0

Enterpartitionidtag[unassigned]:

usr（写分区标识为“usr”）

Enterpartitionpermissionflags[wm]:

（按默认设置，直接回车）

Enternewstartingcyl[1]:

3（这里特别注意：

绝对不能写0，柱面由3开始，如起始柱面设置不对，当安装Clusterware或Grid做格式化votingdisk时会报错）

Enterpartitionsize[0b,0c,3e,0.00mb,0.00gb]:

2g（大小设置为2G）

partition>label（分区完毕后要执行一下“label”命令，做分区标识，注意这是必须步骤）

Readytolabeldisk,continue?

yes

partition>p（再次查看一下分区情况）

Currentpartitiontable（unnamed）:

Totaldiskcylindersavailable:

2044+2（reservedcylinders）

PartTagFlagCylindersSizeBlocks

0unassignedwm00（0/0/0）0

1unassignedwm00（0/0/0）0

2backupwu0-20433.99GB（2044/0/0）8372224

3unassignedwm00（0/0/0）0

4unassignedwm00（0/0/0）0

5unassignedwm00（0/0/0）0

6usrwm3-10262.00GB（1024/0/0）4194304

7unassignedwm00（0/0/0）0

8bootwu0-02.00MB（1/0/0）4096

9unassignedwm00（0/0/0）0

partition>q（“q”退出）

FORMATMENU:

disk-selectadisk

type-select（define）adisktype

partition-select（define）apartitiontable

current-describethecurrentdisk

format-formatandanalyzethedisk

fdisk-runthefdiskprogram

repair-repairadefectivesector

label-writelabeltothedisk

analyze-surfaceanalysis

defect-defectlistmanagement

backup-searchforbackuplabels

verify-readanddisplaylabels

爱相随e-mail:

zhsalei@,msn:

zhsalei@

Oracle11gR2RAC在Solaris10_x86_64上的安装

13

save-savenewdisk/partitiondefinitions

inquiry-showvendor,productandrevision

volname-set8-charactervolumename

!

-execute,thenreturn

quit

format>

接下来把其它8个共享磁盘也格式化并分区，分区时也把磁盘的