SAN网络存储整合方案v20.docx
- 文档编号:4085696
- 上传时间:2022-11-27
- 格式:DOCX
- 页数:34
- 大小:49.63KB
SAN网络存储整合方案v20.docx
《SAN网络存储整合方案v20.docx》由会员分享,可在线阅读,更多相关《SAN网络存储整合方案v20.docx(34页珍藏版)》请在冰豆网上搜索。
SAN网络存储整合方案v20
1.SAN网络整合需求分析
1.1SAN网络整合方案背景
实用计算的出现,即以“按需使用”为基础配置信息系统和服务,要求数据中心及其存储联网基础设施进行相应的改进,以实现实用计算的优势。
对于SAN,这就意味着进行前所未有的大规模整合,并通过存储及网络虚拟化方面的改进提高可管理性。
当今的数据中心SAN可将存储资源整合并分配给一系列运行着高级应用的服务器。
SAN也可以部署为组织机构的共享基础设施,如业务部、部门或园区。
在数据中心,采用SAN的用户正在向一种新的存储模式移植,利用这种实用模式,存储资源也可以像电力、网络服务和冷气一样以“按需使用”的方式供应和使用。
但是,许多大型数据中心通常有几个SAN,每个用于支持不同的应用或机构需求。
在这些环境中,SAN一般在彼此之间或与企业中的工作组和中型系统并不集成,主要原因是,并非企业中的所有部门或工作组均需要共享所有的数据,因此,尽管SAN从理论上能够扩展到几千个节点,但实际上这种情况很少发生。
拥有大量节点的数据中心通常包含多个相互独立的SAN。
鉴于上述原因,存储管理对当今的SAN管理员构成了巨大的挑战。
如何将多个SAN孤岛连接到一起进行数据互通,如何保障连接在一起的交换机不受到广播风暴的影响,如何对众多的交换机进行统一的管理,在今后的业务发展中如何对SAN网络进行快速的扩展部署,如何实现SAN架构的容灾模式,成为当前SAN网络整合中所面临的几大重要问题。
1.2辽宁移动网管SAN网络现状
在辽宁移动网管中心中已经存在了完整的SAN架构网络,其由1台Brocade4900B64口交换机和2台Brocade4100B32口交换机组成端口冗余的网络架构。
2台32端口交换机相当于1台64口交换机,所有的服务器与存储设备能够通过这3台交换机设备实现线路的冗余。
其上连接了大约30套应用系统,以及DMX3、CX500、EVA4000等存储设备,端口占用情况比较紧张,目前大约占用94端口,剩余34端口左右。
光纤交换交换机概况:
光纤交换交换机
提供厂商
已使用端口
速率
DOMAINID
备注
博科64PORT
EMC
50
4GB/S
1
博科32PORT(up)
HP
21
4GB/S
3
博科32PORT(down)
HP
23
4GB/S
2
博科64PORT
0
4GB/S
新到货
表1.2-1
另外还有1台新到货Brocade4900B64口交换机总共是2台64口,2台32口交换机。
以上现状表明辽宁移动网管系统的SAN网络现状目前面临着几个待解决问题:
1、端口不足,目前剩余34端口,无法满足今后GEDC项目中大量新增业务系统的接入需求。
2、在今后的扩展中只能以添加边缘交换机的方式扩展,交换机之间的连接只能采用交换机自身的端口设置为Eport端口连接,在数据交换需要跨交换机访问时造成带宽资源紧张。
3、SAN网络已经部署为端口冗余方式,端口数量大约在64个,但无法对SAN网络进行逻辑隔离,当某一个节点出现故障时如果触发广播风暴将影响整个SAN网络的运行性能与状态。
4、交换设备过多而没有统一的管理,为管理者带来管理效率问题。
5、数据中心机房存在单点故障,当机房故障没有容灾SAN架构接管业务。
1.3SAN网络整合需求
通过对辽宁移动网管SAN网络架构的现状分析,以及其目前所面临的几个问题得出用户需求,用户需要对现有的SAN架构进行改造。
1、需要实现SAN架构系统的全面整合,实现系统的虚拟化要求。
2、能够在统一的架构下分离不同的业务系统,使各业务系统独立自制并且隔离不同业务系统之间的广播干扰。
3、能够按业务系统对存储系统进行访问,不同的业务系统访问相应的存储。
4、在业务量剧增时可以在不影响业务的情况下对现有SAN网络快速扩展。
5、在未来本机房可能会作为沈北数据中心的容灾机房,SAN架构需要具备扩展容灾能力。
2.SAN网络方案设计
2.1SAN网络整体架构设计
在辽宁移动GEDC项目中SAN架构设计方面,我方建议采用core-edge核心-边缘的架构设计方式。
采用2台导向器级别的SAN交换机替换现有的1台64口与2台32口交换机组成的冗余模式架构,作为整个网管系统的核心,整合所有的业务主机、存储系统及带库。
整合后的系统结构简单,集中度更高,可减少管理的复杂度并提升业务的运行水平。
在架构设计方面要求所有的部件都是冗余的,包括核心交换机,核心交换机端口卡、核心交换机内的VirtualFabric,边缘交换机、存储阵列的前后端控制器、磁盘、磁带库驱动器、服务器HBA卡、光纤链路。
以达到整个SAN网络架构99.999%的高可用性。
在本次项目中使用中高端存储、交换、备份设备,要求每台设备自身的高可用性可达到99.999%。
总体架构图如下:
图2.1-1
在核心交换区内要求SAN导向器为板卡式设计具备强大的扩展功能,可以从简单的32口升级到300端口以上的扩展能力,并且可以在Core板上支持Inter-ChassisLink的扩展端口用于集联另一台SAN导向器扩展为700端口以上。
SAN导向器支持NPIV(N_Port ID Virtualization) 功能,由于GEDC的计算资源池中存在大量虚拟主机,而当虚拟主机的单盘容量大于50GB左右的时候最佳方式是为其建立基于裸设备的磁盘影射,因此要求导向器具备NPIV功能能够将,单个光纤端口虚拟成多个独立的端口,为每个连接到该物理端口的不同类型操作系统提供独立的端口标识。
SAN导向器应具备VirtualFabric功能,能够将一台导向器划分为多个虚拟的FC交换设备。
每个VirtualFabric具备独立管理的Domain根据应用层次,可根据应用层次、服务水准或操作系统划分管理区域。
可以实现分区管理以及故障隔离,当某一个VirtualFabric中发生故障可以隔离不同virtualfabric间的广播风暴。
并且可以将不具备VirtualFabric功能的交换机在不间断业务的情况下连接到VSAN中。
SAN导向器应具备路由功能,可以在不中断业务,不更改交换机DomainID和Zoning配置的情况下将多个SAN孤岛连接在一起,并通过LSAN的方式使其之间能够按需求端口互通访问。
导向器可以添加长波端口板与FCIP端口板,用于远程容灾设计的使用。
通过以上整体架构设计,我方建议在本次辽宁移动GEDC项目中新采购的128端口SAN导向器可以划分6个VirtualFabric环境,其中VF0作为Base,相当于SAN路由器,不连接任何设备,只负责连接其他virtualfabric。
核心生产区、应用服务区、OA及财务区分别为VF1-VF3的virtualfabric用来连接业务系统。
VF5为生产存储区,将所有在线业务存储系统连接到这个区域,如果需要这个区域的端口将分布在所有端口板上。
将相关联的业务主机以及与其相关的存储设备端口划分在同一块端口卡内,VF5中的存储设备按需求分别连接到各自业务系统的virtualfabric上,实现与业务系统的隔离和自治、互通。
同时各业务系统的virtualfabric又通过base与备份区VF4连通,共享备份区内的备份设备,备份区内连接备份服务器、VTL虚拟带库以及PTL物理带库。
其他边缘系统如测试开发区、安全管理区可以利旧原有64和32端口交换机使用SAN导向器中的Routing功能,串接到SAN导向器中通过划分LSAN的方式使其能够将数据备份到备份区VF4中。
单臂SAN环境拓扑图:
图2.2-1
2.2SAN网络分级架构设计
在本期GEDC项目中的SAN架构采用物理与逻辑分级设计,物理分级即在SAN网络架构中采用Core-edge核心-边缘的方式,采用SAN导向器作为核心交换机,其他利旧或者新购的小型SAN交换机串接在它上面,使SAN网络扩展延伸下去。
物理分级在SAN网络中也分为2种架构:
一种为通过Routing的方式将小型SAN网络串接在SAN导向器上,另一种方式通过ISL扩展的方式将小型SAN网络融入核心交换机中的某一个VF中。
本期项目中会针对于不同系统的不同访问方式分别采用这两种分级连接架构。
逻辑分级即在核心SAN导向器内部划分多个VirtualFabric,将不同的业务系统区域逻辑分开,隔离不同VirtualFabric间不相关业务的网络通路与广播风暴。
2.2.1BackBonetoEdgeRouting
第一种方式叫做BackBonetoEdgeRouting,其最大的优势是不需要更改接入交换机的DomainID与Zoning配置,而且SAN网络间逻辑隔离,当一个SAN网络中发生故障时不会影响其他SAN网络。
劣势是交换机之间的跳数只能1跳,并且如果通过FCR做数据交互会带来一定的性能影响。
BackBone是所有在SAN导向器上的端口,设备可以通过LSAN_zone从BackBone输出到其他edgeFabric。
这种SAN架构称为MateSAN,MetaSAN中的Fabrics通过Inter-FabricLinks(IFLs)相互连接:
IFLs在SAN路由器上为EX_Port,在交换机上为E_Port,EX_Ports是增强的E_Port。
图
当EdgeFabric与CoreFabric存在大数据量交互时ISL协议与Trunking功能加大带宽,实现链路的负载均衡与故障切换。
本项目中,我们采用多条4GB链路聚合的方式将EdgeFabric与CoreFabric互连。
所涉及的EdgeFabric为安全管理区以及测试开发区。
图
2.2.2Inter-SwitchLink
第二种方式是传统的ISL扩展模式称为Cascading,在本期项目中可以将小型SAN网络加入SAN导向器所创建的某一个VirtualFabric网络中,成为其扩展端口。
其优势是可以将现有的SAN网络扩展,在一个Fabric网络中最多可以连接239台交换机,最大跳数为7跳。
劣势是一个SAN网络端口过多带来的管理难度与故障率增高,并且在连接新的SAN交换机时需要配置其DomainID与Zoning信息不能与核心交换机冲突。
在数据量交互较大时仍然需要将多条链路聚合。
本期所涉及的Cascading串接交换机为VF3中的应用服务区的刀片服务器,由于刀片服务器众多,VF3中端口分配有限,需要在刀片机笼配置SAN交换机或者配置利旧32口交换机,然后将此交换机连接到VF3中。
图
2.3SAN网络连接原则
交换机本身的设计有很多考虑的因素,为了确保很好的性能,在大型的SAN交换机设计上都要评估其超载比。
所谓超载比,就是每个交换机的对外部端口和对内端口的比值。
当然,为了确保性能,最好是具有1:
1的超载比,才能确保性能充分发挥。
但是,某些产品设计时为了降低成本,往往采用2:
1到4:
1的超载比,从而在复杂的环境下造成不可预知的性能瓶径。
为了最大限度的确保性能,在SAN网络设计中还有一个很重要的原则—本地化设计。
所谓本地化,就是主机要访问的存储和主机尽可能连接到同一个交换机或者端口卡上,从而实现本地交换机内部交换。
在简单网络环境中,本地化设计比较容易实现;但随着网络复杂性的提升,本地化基本上不可能实现。
在SAN网络设计中,一般遵循的原则是:
尽可能确保主机到存储的访问路径具有一致的跳跃数。
在本期的SAN网络设计中相关联的主机与存储设备都将处于SAN导向器中同一块端口卡中,确保生产数据实现本地内部交换,在SAN导向器端口卡内部可以实现1:
1的全双工超载。
例如:
核心生产区的业务主机部署在VF1区,连接在端口卡1上,DMX、EVA存储分配给这套系统得存储LUN部署在VF2区,但端口同样连接在端口卡1上。
这样虽然VF1与VF5互通需要routing功能,但保证数据流在一块卡内。
超载比仍然为1:
1。
利旧的边缘交换机上同样将部署业务相关的主机与存储设备。
只有当业务主机进行LANFree备份时会通过Routing功能跨背板进行数据传输。
但备份作业一般在业务不繁忙的夜间进行,因此不会给业务系统带来压力。
图2.3-1
2.4SAN网络安全划分
分区是在存储区域网络中聚合需要沟通的主机和存储节点的fabric服务。
分区造成一种只有当他们的成员,在同一区域时节点可以互相沟通的情形。
当你在一个SAN使用分区时,节点可以是多个区域的成员,这体现了很大的灵活性。
分区不仅阻止主机免受未授权的存储资产访问,而且可以停止不受欢迎的主机到主机的通信和全fabric的注册状态变更通知(RSCN)的中断。
连接主机到存储是一个SAN的最基本的功能。
对于大多数存储阵列来说,该存储空间的单位是逻辑单元号(LUN),多个LUNs被映射到阵列的光纤通道(FC)端口上。
目前,分区几乎总是用来组合存储端口和主机。
分区允许主机访问某个存储阵列特定端口上的所有LUNs。
LUNmasking可以经由HBA卡或更常见的存储阵列执行,确保被授权的主机能有权使用仅仅被每个存储端口提出被定义的一组LUNs。
虽然LUNmasking可专门用于映射LUNs到主机,但是在fabric中会使每个主机暴露在每个危及稳定的RSCN上。
分区和LUNmasking相结合,提供了两个层次的安全,即使当其中一层被错误配置时,也可防止对一个LUN的不适当访问。
因此在SAN网络中始终实施分区,不论是否使用LUNmasking。
在分区类型中存在两种分区:
端口万维网名称(pWWN)和域名,端口(D,P)。
内置于存储和主机接口的pWWN识别使用全局唯一标识符,对于所有fabric,唯一的识别方法是独一无二的pWWN。
pWWN识别比D,P识别可以更安全,因为物理上被电缆连接到端口的任何设备可以不适当地准许存储存取XX的主机。
包括在使用光纤通道路由FCR时,同样适用PWWN识别。
建议在安全和业务的一致性上,使用pWWN识别分区。
对某一分区配置有很多方法可以把SAN主机和存储节点分组。
区域成员首先有基于一个主机访问存储端口的需要。
主机彼此之间很少需要直接互动,且存储端口由于其作为目标的本性从未发起SAN交通。
区域可以由阵列,由主机操作系统,由应用,或由在数据中心之内的位置分组。
在大多数情况下,所有这些方法推荐给上文所述的原因。
建议的分区分组方法是单个启动程序分区(SIZ),有时被称为“单HBA的分区。
”与SIZ,每个区域只有一个单独的HBA卡和一个或多个存储端口。
如果HBA卡都连接磁盘和磁带存储设备,那么你需要创建两个区域:
一个带HBA卡和磁盘设备的区域和第二个带HBA卡和磁带设备的区域。
SIZ是最佳的,因为它可以阻止任何主机到主机的互动和限制RSCNs只到在RSCN内包含所需信息的正确区域。
如下图所示:
图2.3-1
当一块HBA连接存储与带库时我们按照SIZ方式划分为2个zone区域,由上图可见HBA在Switch中的端口分别属于Zone1和zone2。
分离磁盘和磁带设备到单独的区域防止磁盘RSCNs冲击磁带设备,这往往是更敏感的RSCNs。
虽然这一级别的分区似乎可能比减少颗粒分组方法更劳力密集,但对于SAN它奠定了最好的基础,并最终将增加正常运行时间和减少故障检修所需的时间。
2.5SAN网络路由设计
由于本期项目的SAN网络过于庞大,无法在一个Fabric中实现所有计算、存储、备份设备的互联,因此需要对SAN架构划分多个VirtualFabric的方式将不相关的SAN区域分开,每个virtualfabric相当于一台独立的交换机,互相没有联系,将不同的设备连接到不同virtualfabric上即加入了相应的virtualfabric。
然后通过Routing的方式将多个VF以及edgeFabric连接在一起,共享备份设备。
设备之间通过LSAN_zone方式互联,但为了保证VF之间、CoreFabric与EdgeFabric之间无关系统的隔离,需要对SAN路由作详细设计。
1、确保各个生产区VF之间的主机与存储不互通,确保测试开发区的主机与生产区的主机及存储不互通。
2、保证每个生产区VF的主机可以与备份区VF4的VTL和物理带库互通,以实现LANFree备份。
3、确保开发测试区的主机和备份区VF4的VTL和物理带库互通,以实现将历史数据恢复到开发测试区用于测试研发。
4、必要时各个生产区的存储可以与开发测试区的存储互通,将数据由存储设备直接推送到开发测试区存储上,用于测试。
5、必要时各个生产区的主机可以与开发测试区存储互通,用户数据拷贝恢复。
2.5SAN网络NPIV设计
N_Port ID Virtualization (NPIV) 将单个光纤端口虚拟成多个独立的端口,为每个连接到该物理端口的不同类型操作系统提供独立的端口标识(对每个操作系统看起来就像有自己独立的物理端口一样)。
NPIV分配一个独立的virtual port ID给每个光纤通道协议设备。
它允许你去分配虚拟地址而不影响现有连接和设备。
虚拟端口有与N_port相同的属性,因此能够提供Fabric相关的所有服务。
每个NPIV设备有独立的device PID,Port WWN, 和Node WWN,执行同Fabric中其他端口相同的功能。
也就是说,NPIV虚拟出的多个virtual devices与连接在非NPIV端口的普通设备无异,zone配置对于NPIV端口和非NPIV端口也没有区别,能够根据domain和port符号,或WWN,或两者兼有的方式划分。
对于完全由virtual N_Port ID构成的Zone,必须使用WWN-Zone。
因为对于NPIV端口如果使用harddomain_id,Port)zone,并且所有的virtual PID使用的端口被配置在该Zone中,那么port login (PLOGI)到一个不存在的virtual PID 是不被block的,相当于FLOGI被发送到NPIV port连接的设备。
如果这个设备不能处理这种异常的PLOGI信号,就应该使用WWN-based zoning。
在本期辽宁移动GEDC项目中存在大量刀片服务器,每台刀片机种大约分配5台左右的虚拟机。
当这些虚拟机需要连接存储资源池中的LUN时,需要通过虚拟机的虚拟端口影射到刀片机笼的内联FC端口,再通过外联FC端口连接到SAN导向器上识别存储资源池中的LUN。
在虚拟机LUN需求超过75GB时,建议采用LDM方式,通过NPIV连接存储上的LUN。
再通过Zone分区的方式将多个NPIV逻辑上分离,保证单一主机到单一存储LUN的访问。
连接拓扑图如下:
图2.5-1
NPIV配置:
使用portCfgNPIVPort 打开和关闭port的NPIV功能。
如下是一个具体的案例(Brocade 5100 port 10):
switch:
admin> portCfgNPIVPort 10, 1
同时考虑到虚拟机内各业务系统的重要程度不同,应可利用交换机端的数据流控制机制,实现I/O流量的控制管理。
指定数据流传输的优先级别,可以将NPIV连接线的内部划分成高,中,低三个优先级别,高优先级获得最高的带宽,而低优先级别获得最低的传输带宽。
有了这些数据流控制机制,客户可以很好的分配和利用带宽资源,为应用程序服务,例如虚拟机SQL数据库为核心业务,划分为高优先级,而文件归档等则为低优先级应用,这样,在业务流量最繁忙以至于达到瓶颈时,高优先级别的业务获得了更多的传输带宽,保证了高优先级别业务的服务水准。
图2.5-2
2.6VirtualFabric网络设计
在VirtualFabric网络设计中,我们参见图2.3-1,划分为VF0-VF5,6个VirtualFabric网络,以及edgeFabric网络。
以下我们分别对这几个VF在实际环境中的部署作分别阐述。
2.6.1VF0路由区域划分
VF0作为Base,相当于SAN路由器,不连接任何设备,只负责连接其他virtualfabric,并且隔离不同virtualfabric间的广播风暴。
它包含SAN导向器中所有需要交互端口。
2.6.2VF1核心数据库区域划分
本期计划为VF1核心数据库区划分1个端口板32端口中的16端口,连接NMC数据库2台SUNE6900、TDDB\NPMDB集群数据库4台SUNE4900、XNGDB1台SUNV890、bpmapp01,1台SUNV4800、TeMIP4台HP服务器集群。
连接主机见下表:
核心生产主机表:
Solaris+VeritasLVM
E6901/E6902
SUNE6900
NMC数据库(ORACLE9iRAC)
Solaris
E4901(suncluster)
SUNE4900
TDDB(ORACLE9iHA)
E4902(suncluster)
SUNE4900
NPMDB(ORACLE9iHA)
E4901(suncluster)
SUNE4900
TDDB(ORACLE9iHA)
E4902(suncluster)
SUNE4900
NPMDB(ORACLE9iHA)
xngserver
SUNV890
XNGDB(ORACLE10g)
HPUX
temip1,temip2,temip3,temip4
TeMIP
有表可见总共大约11台服务器占用11个端口(包括TeMIPHP主机Npart)。
VF1还具备5端口的扩展能力,在近期内能够充分满足用户对核心数据库区的扩展需求。
2.6.3VF2OA财务区域划分
VF2区划分系统为OA以及财务,划分1块32端口板中的24端口,连接主机见下表。
OA系统主机表:
SUNSolaris
bpmapp01/bpmdb01
SUNV4800
bpmapp01/bpmdb01
Windows
Archive2
HPDL380
OA档案系统
Archive3/4
HPDL580
OA档案系统
Archive3/4
HPDL580
OA档案系统
EPM1/2
HPDL580
EPM
Elearning
HPDL580
Elearning
HPUX
UIPORACLE/UIPPORTAL
HPRP4440
UIPORACLE/UIPPORTAL
OVSA1/OVSA2
HPRP4440
OVSA1/OVSA2
HPUX
Archive1
HPRX4640
OA档案系统
Documentum/MAXIMO1/MAXIMO2
HPRP4440
Documentum/MAXIMO1/MAXIMO2
Windows
DocBack1/DocBack2
HPDL580
公文后端1,2,3,4
OASQL1
HPDL580
OASQLSERVER
Windows
DocBack3/DocBack4
HPDL580
公文后端1,2,3,4
OASQL2
HPDL580
OASQLSERVER
Windows
NMC4
IBMX440
SQLSERVER2000
NMC5/NMC6
IBMX440
EXCHANGE
NMCA3D9SVR1/NMCA3D9SVR2
EXCHANGE
NMCA3D9SVR1/NMCA3D9SVR2
SQLSERVER2005(SQL3)
NMCA3D10SVR1/NMCA3D
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- SAN 网络 存储 整合 方案 v20