大学数据中心建设项目技术建议书.docx
- 文档编号:4245716
- 上传时间:2022-11-28
- 格式:DOCX
- 页数:24
- 大小:1.28MB
大学数据中心建设项目技术建议书.docx
《大学数据中心建设项目技术建议书.docx》由会员分享,可在线阅读,更多相关《大学数据中心建设项目技术建议书.docx(24页珍藏版)》请在冰豆网上搜索。
大学数据中心建设项目技术建议书
大学数据中心建设项目
技术建议书
目录
1数据中心总体架构3
2优势技术简介5
2.1IRF2虚拟化技术5
2.2EVB技术8
2.3FCoE技术13
3业务系统部署17
3.1一般性业务系统部署建议17
3.2核心业务系统部署建议17
3.3数据库系统部署建议18
3.4网站及邮件业务系统部署建议18
3.5高并发业务系统部署建议19
4项目管理计划20
4.1项目组结构图20
4.2项目组职责20
4.3项目团队成员22
4.3.1领导小组22
4.3.2项目管理团队22
4.3.3项目实施人员23
4.4项目进度计划23
4.4.1项目里程碑23
4.4.2项目进度管理23
4.5项目实施流程24
4.5.1流程图24
4.5.2项目启动24
4.5.3工程准备25
4.5.4生产备货25
4.5.5环境准备25
4.5.6工程实施26
4.5.7到货验收26
4.5.8安装调试27
4.5.9初验27
4.5.10试运行28
4.5.11终验28
1数据中心总体架构
如上图所示,为项目全景图。
本次某大学数据中心项目。
数据中心一期将建成学校新的云计算数据中心。
包括存储资源,计算资源及网络资源。
网络资源,数据中心采用两台H3CS12500-X核心交换机,通过IRF2虚拟化技术将两台核心交换机虚拟为一台,每台配置一块48端口万兆/千兆以太网光接口单板,其中12个端口通过光模块切换为千兆以太网光接口,配置冗余主控模块,6块交换网板,实现5+1冗余的同时,提供所有槽位万兆端口线速转发,其中一台核心交换机配置一块48端口千兆以太网电接口单板。
配置两台H3CS5800V2数据中心接入交换机,通过IRF2虚拟化技术将两台核心交换机虚拟为一台,包括48端口千兆/万兆以太网光接口,4个40GQSFP以太网光接口,用于连接刀片服务器及存储。
数据中心接入交换机的端口具备有多重协议属性,端口可以支持IP协议,FC协议,FCoE协议。
计算资源包括4台UIS8000刀片服务器,共配置48台两路刀片服务器和8台4路刀片服务器。
每个UIS8000刀片服务器机箱配置有两块冗余的网络模块,可以为每一个刀片服务器提供10G的上行链路带宽。
每台UIS8000刀片服务器通过万兆以太网光接口上联到接入交换机。
通过FCoE技术进行存储业务的交换,通过以太网技术进行数据业务的交换。
通过融合数据中心的组网方案,网络接入模块连接接入交换机承担数据业务的转发和存储业务的转发。
网络连接方式方面,接入交换机通过跨设备的链路聚合上联到核心交换机,在任何一个核心交换机出现问题或者是接口单板出现问题时,业务不会受到任何的影响。
同样,刀片服务器也通过跨设备的链路聚合方式连接到接入交换机,当任何一台接入交换机出现问题的时候,业务也不会受到影响。
H3CS5800V2数据中心接入交换机支持EVB协议,可以将虚拟机的流量引导至物理交换机,每一个虚拟机通过EVB协议都会在物理交换机上拥有一个虚拟通道,基于该虚拟通道可以为每一个虚拟机部署各自的网络策略,同时能够观察到虚拟机的独立流量。
通过EVB技术,可以大大提高对虚拟机的精细化管理程度。
2优势技术简介
2.1IRF2虚拟化技术
传统数据中心实践通用的是环路接入拓扑模式,以多生成树协议MSTP配合VRRP提供服务器接入的可靠性,同时,服务器又以多网卡连接网络进一步提供冗余能力。
但从网络拓扑的设计、环路规避、冗余备份等角度考虑,其设计过程还是极其复杂的,如VLAN的规划、生成树实例的拓扑阻塞、网关冗余选择,包括相应技术参数的选择、配置,故障切换的预期判断等,都需要一套十分详细的流程。
而后期在网络运行维护过程中面临的压力和复杂度也是显而易见的。
引入虚拟化设计方式之后,在不改变传统设计的网络物理拓扑、保证现有布线方式的前提下,以IRF技术实现网络各层的横向整合,即将交换网络每一层的多台物理设备使用IRF技术形成一个统一的交换架构,减少了逻辑上的设备数量。
虚拟化整合后的IRF系统,对外表现为单台物理设备,因此,在保持网络基本互联条件下(上图左边组网图所示),可将一对IRF系统之间的多条线缆进行链路捆绑聚合动作(上图中间组网图所示),从而将不同网络层之间的网状互联简化成单条逻辑链路(上图右边组网图所示)。
在虚拟化整合过程中,被整合设备的互联电缆成为IRF的内部互联电缆,对IRF系统外部来说不可见。
两台设备之间原有的捆绑互联端口,其归属的VLAN三层接口网段均能由其它设备可达(如ping通)。
而归属到IRF系统内部后,不对互联电缆接口进行IP配置,因此将与IRF外部网络隔离。
IRF组网条件下,对整个网络的配置管理发生了很大变化:
原来的多台物理设备现在成为一台逻辑设备,也只有一个管理IP,其中所有的IRF成员可以统一配置管理,不需要登录到不同设备各自管理运维。
使用IRF进行网络简化时,对网络汇聚层或服务器网关层的虚拟化整合是必要的,因为这是消除生成树和VRRP的关键网络层。
对于接入层设备(以TopofRack接入为例)来说,一般使用两台交换机对同类业务系统服务器进行接入,以满足服务器的双网卡上行要求。
上行到IRF系统的服务器所有网卡如同接入一台交换机,适用于各种工作模式,特别是服务器的双网卡捆绑方式(上图右图所示)。
除了支持网卡主备模式(上图左图和中图),IRF本身可支持跨设备的链路聚合,因此服务器多网卡上行到一个IRF系统的不同交换机均可实现LACP捆绑,实现网卡吞吐带宽增强和可靠性提升。
在数据中心IRF架构实施中,VLAN和IP的设计变得十分简单。
在网络各层互联上,使用链路捆绑方式在多条物理链路上虚拟出了一个聚合层,也就是捆绑后的逻辑链路。
因为聚合/捆绑后的交换机端口群(可能分布在IRF的不同成员上)被视为单个逻辑端口使用,聚合组替代了原来的物理端口成为VLAN设计的考虑因素。
采用IRF设计后消除了网络环路,在不考虑生成树协议条件下,VLAN的设计在满足业务连通性上已经十分简单。
核心层与汇聚层之间的连接简化为只通过一个VLAN进行三层互联了,将本来FullMesh全连接的网状网变成了简单的单逻辑链路连接。
这时,原来互联所需的IP地址也大大减少了。
上图左边的网络结构中,三层互联链路成网状,所需网段很多,一般一条物理链路对应一个互联网段。
在运行动态路由、使能生成树条件下,任意物理链路的Up/Down故障都会引起网络路由的振荡、VRRP状态变化或生成树的重新计算,甚至可能引起应用系统业务流的中断(在协议计算收敛条件下的业务恢复时间可达到数秒甚至分钟级)。
而上图右边的网络采用IRF,网络节点之间以多链路捆绑组模式互联(普通方式下为1~4条物理链路)。
即使捆绑组中任意一条物理链路发生故障,由于整个捆绑组在逻辑上仍然有效,接口状态正常,整个网络拓扑没有发生变化,因此不会引发上层路由协议重计算,极大保持了网络运行的稳定性。
同时所需的互联IP大量减少,也减少了网络可管理的IP对象,消除了潜在的安全隐患。
在此结构中,动态路由设计面对的网络区域,也因架构横向整合而变成了简单的链状,参与路由计算的节点大量减少,设计上更简单和稳定。
综上所述,对于数据中心应用的多层架构,采用端到端的IRF设计技术进行改良,可以将大规模数据中心网状网变成线性或树状辐射网,在网络每一层具有灵活的扩展能力和简单的配置管理方式,大大提升网络的运行管理效率。
2.2EVB技术
边缘虚拟桥EVB(EdgeVirtualBridging)技术是当前用于解决虚拟化环境的虚拟机VM(VirtualMachine)与网络之间的连接与管理边界问题而产生。
并在此标准802.1Qbg定义的框架基础上可以实现VM生命周期与网络的自动化关联、网络属性的灵活变更。
EVB原来由802.1Qbg和802.1Qbh组成,数据层面的实现一共有四种(如上图所示):
其中802.1Qbg包含了三种,即VEB(VirtualEthernetBridging)模式、VEPA(VirtualEthernetPortAggregator)模式和MultiChannel模式;802.1Qbh为PE(PortExtender)模式。
当前802.1Qbh已经在EVB内取消,因此EVB目前也就是802.1Qbg。
上图中边缘中继单元ER(EdgeRelay)指代了VEB/VEPA各种部件。
EVB技术中,ER位于服务器一侧,对服务器的流量进行转发,ER转发的流量包括虚拟服务器之间,和虚拟服务器与边缘交换机(与物理服务器直连)之间的全部流量。
ER既可以通过软件实现,也可以使用专门的硬件单元实现(虚拟化网卡功能)。
ER-1标识了一种双端口的VEB或VEPA,在实现上完全作为一个通道,无需地址学习表项管理;ER-2标识VEPA;ER-3标识VEB。
所有的VM通过VirtualStationInterface(VSI)连接在ER上,基于级联性架构,ER逻辑上挂接在MultiChannel的S-Component组件上,S-Component组件是实现Multichannel的核心逻辑组件,每个通道称为S-Channel。
EVB的控制协议最关键有两个:
VDP(VSIDiscoveryProtocol)和CDCP(S-ChannelDiscoveryandConfigurationProtocol)。
CDCP是专门用于建立MultiChannel模式下S-Component组件与网络连接的通道,这些通道逻辑上只在服务器和物理网络端口本地有效。
VDP协议报文由服务器发起。
服务器发送的VDP请求分为预关联、资源预留的预关联、关联和去关联请求四种。
交换机只回复对应的响应报文。
VM创建时,服务器向交换机发送关联或者预关联请求。
关联请求处理成功时,VM的流量就可以开始经由交换机转发。
预关联请求处理成功时,VM处于一种就绪等待的状态,直到发送关联请求处理成功后,才开始收发流量。
VM关闭时,向交换机发送去关联请求,边缘交换机将对应的流量转发通道关闭。
一般来说,VM迁移时,新的VM先处于预关联状态下,等待虚拟机管理中心指令原有VM发送去关联请求。
原有VM发送去关联请求后,新VM发送关联请求,接替原有VM的流量收发工作。
在EVB控制协议作用下,便可实现VM的自动化关联网络,如上图所示,A中VM不进行VDP关联,网络不对其下发相应的属性,网络没有针对此VM的相关配置,则VM流量不能进入网络。
B中VM经过VDP正常关联网络,网络管理系统基于VM信息合理性下发针对VM的网络策略与配置,可保证VM正常服务提供。
C中VM虽然关联网络,但其属性被网络系统判断为非法VM,网络拒绝VM接入,不为VM分配资源和配置。
在EVB技术关联的计算与网络系统中,定义了两个管理系统:
虚拟机管理系统VMM和网络管理系统NMS(H3C的EVBNMS有专用组件iMCVCM---VirtualConnectionManager)。
在虚拟化环境中,VM基于业务要求具有其网络属性(VLAN、MAC、VSIID…),大量的VM属性信息必须上图所示在虚机管理系统与网络管理系统之间同步识别,这样无论是主机侧还是网络侧,对一个VM或一类虚拟服务的业务要求、控制策略都能完全统一,并且能够基于VDP信息的传递、管理系统之间的交互而进行更新。
如上图所示,是VM创建的过程,消息从主机侧向网络侧传递。
1)虚机管理系统使用VSI相关信息创建VM;
2)VM/ER使用VDP关联网络;
3)交换机将VM信息传递给网络管理系统(H3CiMCCRM)。
上图为VM创建过程,消息从网络侧向主机侧传递的过程:
1)网络管理系统对VM信息进行判定后下发Profile;
2)交换机允许VM接入网络,向VM返回关联响应。
上图为VM迁移的过程,该VM与原VM具有相同的VLAN、MAC、IP、VSI等信息。
1)目标VM创建
2)目标VM关联网络
3)源VM与目标VM的状态信息同步
VM切换,当目标VM创建完成,虚拟机信息同步一致后便可进行VM切换,完成迁移
4)拆离释放原VM
5)激活目标VM
6)原VM主机VDP解关联请求
7)网络删除profile,释放网络资源
8)网络HTTPS通告管理系统解关联,释放网络资源
2.3FCoE技术
目前,数据中心正以前所未有的速度增长,企业级应用需要更强的计算能力,Web服务成为企业面向客户的核心策略,包括电子邮件、文件、以及多媒体等在内的数据量不断增多,等等。
此外,法规遵从要求数据作较长时间的保存。
所有这些要求使得运行一个数据中心变得日益复杂和昂贵。
与此同时,数据中心通常运行多个独立的网络:
一个以太网网络(LAN)用于客户机到服务器和服务器到服务器的通信;一个光纤通道的存储区域网络(SAN)用于服务器和存储设备的通信。
为了支持各类型网络,数据中心的服务器上需要为每种网络配置单独的接口,即以太网网络接口卡(NIC)和光纤通道主机总线适配器(HBA)。
并且服务器通常还具有其他专用的网络接口,用于管理、备份和虚拟机即时迁移。
对这些接口提供支持需要大量接口卡、布线、机架空间、上行交换机。
多种并行的网络架构增加了数据中心的建设成本和电力、冷却方面的开支以及空间的消耗,使得数据中心管理更加困难,削弱了业务灵活性。
网络融合是数据中心应对上述挑战的发展方向(上图所示)。
FCoE便是一种网络融合的技术,可以使得FC和以太网共享一个单一的,集成的网络基础设施。
FCoE可以为数据中心带来显著的业务优势:
更低的总体拥有成本(TCO):
通过为LAN/SAN流量提供统一交换网络,融合网络能够整合并更有效的利用以前分散的资源,通过消除不必要的交换基础设施,将服务器的I/O适配器与线缆的数量减少多达50%,大幅减少电力和冷却成本。
同时,简化的基础设施还可以降低管理和运营的开支。
强大的投资保护:
FCoE可以和数据中心现有的以太网及FC基础设施无缝互通,使用户享受融合网络带来的优势,同时延续以太网和FC网络领域的架构,管理和运营最佳实践。
增强的业务灵活性:
FCoE使得所有的服务器均能访问存储设备,在虚拟机移动的情况下可为虚拟机提供一致的存储连接,这样也提高了系统的灵活性和可用性
如下图所示,FCoE是把FC帧封装在以太网帧中,允许LAN和SAN的业务流量在同一个以太网中传送。
FCoE保留了FC中N_Port、F_Port、E_Port的结构以及FC的管理模式。
在FC的角度来看,FCoE就是把FC承载在一种新型的链路上;在以太网的角度来看,FCoE仅是其承载的另外一种上层协议。
由于FC要求网络在拥塞情况下仍保持无丢包的可靠传输服务,故FCoE需要对以太网做一定的增强(CEE)来避免丢包。
协议栈及报文封装
FC网络协议栈有五层,其中FC0定义承载介质类型,FC1定义帧编解码方式,FC2定义分帧协议和流控机制,FC3定义通用服务,FC4定义上层协议到FC的映射。
FCoE是把FC-2层以上的内容封装到以太网报文中进行承载。
如下图所示。
FIP(FCoE初始化协议)
FIP协议是FCoE控制平面相对FC控制平面新增的协议,主要完成以下功能,如下图所示:
VLAN发现:
Node获取FCoE流量所使用的VLAN;
FCF发现:
Node获取网络中的所有的FCF信息,然后决定和哪台FCF交换机建立虚链路连接;
虚链路建立:
Node向选中的FCF发送FIPFLOGI或FIPFDISC报文来建立虚链路,此时FCF给Node分配FC地址;
虚链路维护:
虚链路建立后,FCF交换机上通过收到Node定期发送保活报文来进行虚链路的维持,Node上通过定期收到FCF交换机发送的通告报文来进行虚链路的维持。
融合增强型以太网(CEE)
传统的以太网是一种尽力服务的网络模式,当网络拥塞时有可能发生丢包,进而导致出现数据包重传或超时现象。
FCoE网络融合技术的出现,对以太网提出了无丢包服务的要求。
为此,IEEE802.1和IETF标准组织正在制定一些新的标准,它们将创建一个新的、更强大的以太网协议系列,这些统称为融合增强型以太网(CEE)
基于优先级的流量控制(PFC,IEEE802.1Qbb):
链路共享对于网络融合至关重要。
要想实现链路共享,一种流量类型的突发不能影响其他流量类型,一种流量类型的大量排队不能争用其他流量类型的缓存资源。
当前以太网的Pause机制能够实现不丢包的要求,但它会阻止一条链路上的所有流量,PFC是对Pause机制的一种增强,PFC可以在一条以太物理链路上创建8个独立的虚拟链路,并允许单独暂停和重启其中任意一条虚拟链路。
这一方法使网络能够为单个虚拟链路创建无丢包类别的服务,使其能够与同一接口上的其他类型的流量共存。
FCoE网络部署
由于接入层的网卡、线缆和交换机的数量最多,因此在接入层实现I/O整合将会带来最大的好处。
因此先在数据中心的接入层实现FCoE,即服务器支持FCoE,使用CNA通过10GCEE连接到接入层FCoE交换机,接入层交换机再分别通过10G以太和FC链路连接到现有的LAN和SAN。
接入层FCoE交换机可以有以下两种工作模式:
FCF模式。
在此模式下,FCoE交换机和Node之间运行FIP协议,和上游FC交换机之间运行FC的路由协议及其他FC的控制及管理协议,并完成FCoE报文的转发功能。
NPV模式。
在此模式下,FCoE交换机把多个本地连接的VN_port汇聚到一个或多个N-Proxy链路。
NPV交换机在server看来是一个FC/FCoE交换机,在核心的FC交换机看来是一台主机。
它和上行的核心FC交换机共享同一个DomainID,它不需运行FC的路由协议,它不提供本地交换功能,server端口来的流量将全部转发到上行口。
此部署过程将给网络带来以下好处:
服务器上传统的多种I/O接口被整合为单一的接口,大大减少了接口卡和线缆的数量;
服务器的接口数量减少的同时降低了服务器的功耗;
使更多的服务器可以接入到SAN网络中;
无需改变SAN的运行管理模型,FCoE服务器即可访问通过SAN连接的存储设备,实现了对已有FCSAN的投资保护;
当接入交换机工作在NPV模式时,简化了SAN网络的配置管理,消除了FC不同厂家的互通性问题。
3业务系统部署
3.1一般性业务系统部署建议
一般性业务平台一般提供业务多为B/S架构,通常为TCP连接,资源交互通常只有单向性。
比如,课程点播业务,多媒体教学,选课系统等。
多为客户通过浏览器的方式打开网页,访问相应资源。
一般性业务平台配置有16台2路刀片式服务器,增加内存后,每台配置128G内存。
供学校一般性业务平台进行使用。
建议每个业务平台配置2个以上虚拟机,分别部署在不同的物理服务器上。
每个物理服务器建议配置有4个虚拟机,16台服务器能够支持超过30个业务平台。
内存资源将被固定享用,每个业务系统的平均内存超过10G。
CPU资源被虚拟为资源池,通过不同的优先级,供虚拟机调用。
通过负载均衡设备的统一调配,充分利用资源,同时互为冗余备份。
一般性业务系统使用集中式存储方案,一期建设存储为30TB,可以基于不同业务提供灵活挂载存储资源。
具体存储规划请按需分配。
一般性业务平台可以通过P2V的方式对现有的物理服务器资源进行在线迁移,将所有物理服务器上的业务制作为虚拟机镜像文件,直接在虚拟服务器上使用。
3.2核心业务系统部署建议
核心业务系统通常指一卡通平台及数字校园平台,多为结构性数据,通常配合数据库使用。
由于核心系统较为重要,建议单独部署,同时建议数据库分布式部署,同核心业务系统分开,互不影响。
核心业务系统配置有6台4路刀片式服务器,增加内存后,每台配置256G内存。
供学校核心业务系统进行使用。
建议每个业务系统配置4个以上虚拟机,分别部署在不同的物理服务器上。
每个物理服务器建议配置有4个虚拟机,8台服务器能够支持超过8个业务平台。
内存资源将被固定享用,每个业务系统的平均内存超过256G。
CPU资源被虚拟为资源池,通过不同的优先级,供虚拟机调用。
通过负载均衡设备的统一调配,充分利用资源,同时互为冗余备份。
核心业务系统使用FC存储方案,通过数据库服务器完成存储挂载。
核心业务系统可以通过P2V的方式对现有的物理服务器资源进行在线迁移,将所有物理服务器上的业务制作为虚拟机镜像文件,直接在虚拟服务器上使用。
3.3数据库系统部署建议
处于对数据库系统安全性及重要性的考虑,建议数据库单独部署。
一期建设数据库服务器两台,不使用虚拟化方案,直接部署在物理服务器,通过数据库自身的高可靠性技术,提供数据库系统的冗余安全性。
数据库系统通过FCoE的方式同FC存储相连,通过数据网络同核心业务系统相连。
数据库系统配置两台4路刀片服务器,连接60TFC存储磁盘阵列。
3.4网站及邮件业务系统部署建议
网站及邮件业务系统一般提供业务多为B/S架构,通常为TCP连接,资源交互通常只有单向性。
但独立性非常强,客户连接数量众多,且要求有一定独享性,每个客户在网站及邮件业务中均有自己的独立帐户及独立空间。
邮件业务一般面对教职工,每个教职工均有自己的账户及邮件存储空间,网站业务通常面对学院或是社团(学生社团可以使用租用方式),未来也有可能面对每一个学生用户。
网站及邮件平台配置有20台2路刀片式服务器,增加内存后,每台配置128G内存。
供学校一般性业务平台进行使用。
对于网站业务建议每个物理服务器配置10个左右虚拟机,尽量均匀的分配在每一个物理服务器上,网站业务重要性不是非常高,不需要太多的服务器冗余配置。
对于邮件服务器系统,出于访问量及业务重要性的考虑,邮件服务器建议配置4个虚拟机作为服务器集群,分布于不同的物理服务器,每个物理服务器建议配置有1个虚拟机。
建议给每一个邮件服务器的虚拟机分配10G内存。
CPU资源被虚拟为资源池,通过不同的优先级,供虚拟机调用。
通过负载均衡设备的统一调配,充分利用资源,同时互为冗余备份。
网站及邮件平台使用分布式存储,一期建设存储为48TB,可以基于不同业务提供灵活挂载存储资源。
具体存储规划请按需分配。
网站及邮件平台可以通过P2V的方式对现有的物理服务器资源进行在线迁移,将所有物理服务器上的业务制作为虚拟机镜像文件,直接在虚拟服务器上使用。
3.5高并发业务系统部署建议
视频点播、查分系统、选课系统是学校非常重要的业务系统。
此类业务系统最为重要的特点就是在特定的时间点有集中访问的需求。
对于非特定时间,访问量非常少。
针对该特点,建议部署DRX动态资源扩展系统,通过负载均衡设备对业务流量的感知,在没有任何干预的情况下,自动完成资源的扩展与回收。
高并发业务系统配置有12台2路刀片式服务器,增加内存后,每台配置128G内存。
供学校选课系统,查分系统,视频点播系统等业务平台进行使用。
通常,此类业务的瓶颈在于web应用服务器,物理服务器性能与web服务的配置都会对该类业务产生影响。
抛开服务器配置不谈,对于物理服务器性能的扩展,在传统的IT资源建设过程中,通常都是进行物理服务器的直接扩容。
这样无疑是对物理服务器资源的巨大浪费,同时也不能够满足学生数量增长带来的问题,需要不断重复投资,效率极低。
建议采用动态资源调整技术,增加资源利用率,提高学生对业务系统的访问体验。
4项目管理计划
4.1项目组结构图
4.2项目组职责
Ø某数据中心项目领导小组
1)负责项目整体计划
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大学 数据中心 建设项目 技术 建议书
![提示](https://static.bdocx.com/images/bang_tan.gif)