大型数据中心SDN网络升级改造解决方案Word文档格式.docx

大型数据中心SDN网络升级改造解决方案Word文档格式.docx

《大型数据中心SDN网络升级改造解决方案Word文档格式.docx》由会员分享，可在线阅读，更多相关《大型数据中心SDN网络升级改造解决方案Word文档格式.docx（25页珍藏版）》请在冰豆网上搜索。

4、采用先进的数据中心设计理念，能够支持新一代应用架构，适用于未来5-7年的IT技术发展，可以最大程度的保护数据和业务连续性。

1.3项目需求

1.3.1业务需求

如何更加快速地部署业务应用，为企业业务系统提供更及时、更便利的网络服务，提升企业的运行效率与竞争实力，也是当前企业数据中心使用中面临的挑战之一。

因此，当前数据中心的建设必须考虑如何实现快速上线业务、快速响应需求、提高部署效率。

1.3.2网络需求

服务器虚拟化使高效利用IT资源，降低企业运营成本成为可能。

服务器内多虚拟机之间的交互流量，传统网络设备无法感知，也不能进行流量监控和必要的策略控制。

虚拟机的灵活部署和动态迁移需要网络接入侧做相应的调整，在迁移时保持业务不中断。

虚拟机迁移的物理范围不应过小，否则无法充分利用空闲的服务器资源。

迁移后虚拟机的IP地址不改变，以保持业务不中断，因此对数据中心网络提出了大二层的需求。

1.3.3安全需求

数据中心对网络安全性的需求是最基本的需求。

安全性设计包括物理空间的安全控制及网络的安全控制。

系统设计从整体方案上需要考虑端对端的安全，保证安全、绿色的使用资源。

1.3.4运维需求

高效的运维是数据中心运营成功的基础。

数据中心网络设备和IT资源呈现数量大、厂商多、运行配置复杂的特点，如何简化企业数据中心的运维管理、降低人工运维成本，是当前企业数据中心发展面临的重要挑战。

在采用虚拟化技术后，数据中心网络延伸到服务器内部，如何对包括虚拟设备在内的多类设备进行统一管理、实现网络流量的精细化管理和网络故障的快速定位，都是对云计算时代数据中心运维的基本需求。

在数据中心业务场景中，面向应用的运维管理目前正变得越来越迫切，如应用间/内的交互数据统计，带宽占用情况，数据转发路径链路质量，会话连接故障分析等精细化运维管理正成为用户广泛的诉求，上述运维手段的实现将对减轻人工运维压力，快速故障响应，提升用户业务体验等方面都将获得显著效果。

2传统网络面临的问题

随着企业业务的快速扩展需求，IT做为基础设施，快速部署和减少投入成为主要需求，云计算可以提供可用的、便捷的、按需的资源提供，成为当前企业IT建设的常规形态，而在云计算中大量采用和部署的虚拟化几乎成为一个基本的技术模式。

部署虚拟机需要在网络中无限制地迁移到目的物理位置，虚机增长的快速性以及虚机迁移成为一个常态性业务。

服务器虚拟化在经过多年的发展后已经越来越成熟，被应用的领域也越来越广泛。

它有效降低了成本，提高了资源利用率和可用性，同时使运维效率也得到了较大提升，进而缓解了信息化建设所面对的诸多压力。

虽然服务器虚拟化的普及彻底改变了应用的调配和管理，但是，这些动态工作负载所连接的网络却未能跟上它的发展步伐。

网络调配仍然极其缓慢，甚至一个简单的拓扑结构的创建也需要数天或数周时间。

传统的网络已经不能很好满足企业迈向云时代的这种需求，面临着如下挑战：

2.1业务规划与网络架构紧耦合

传统数据中心业务规划分区分域，IP地址网段划分则一般以POD为单位，一个POD内为一个网段，规划部署同一种业务。

此种网络架构规划清晰，维护简单，但是不足之处就是业务扩容受限，假设业务1部署在POD1内，如果POD1内无法扩容，需要把业务部署在其他的机架上时则要求POD1与其他机架二层Trunk互通，要对网络做大量的配置更改。

2.2东西流量受到传统网络架构限制

传统网络架构以三层为主，主要是以控制南北数据流量为主，由于数据中心虚拟机的大规模使用，虚拟机迁移的特点以东西流量为主，在迁移后需要其IP地址、MAC地址等参数保持不变，如此则要求业务网络是一个二层网络。

但已有二层技术存在下面问题：

·

生成树（STPSpaningTreeProtocol）技术，部署和维护繁琐，网络规模不宜过大，限制了网络的扩展。

各厂家私有的IRF/vPC/等网络虚拟化技术，虽然可以简化部署、同时具备高可靠性，但是对于网络的拓扑架构有严格要求，同时各厂家不支持互通，在网络的可扩展性上有所欠缺，只适合小规模网络部署，一般只适合数据中心内部网络。

大二层网络技术TRILL/SPB/FabricPath等，虽然能支持二层网络的良好扩展，但对网络设备有特殊要求，网络中的设备需要软硬件升级才能支持此类技术，带来部署成本的上升。

2.3业务规模受网络设备规格限制

云业务中虚拟机的大规模部署，使二层地址（MAC）表项的大小限制了云计算环境下虚拟机的规模，特别是对于接入设备而言，二层地址表项规格较小，限制了整个云计算数据中心的业务规模。

2.4传统安全部署模式的限制

传统模式下的安全部署都是基于路径基于拓扑的安全策略部署，安全业务必须根据业务的要求配置好VLAN、IP、引流策略，而且这些策略都是手工配置的，如果业务变更，那么安全策略的配置也必须跟着重新配置。

另外传统安全都是基于物理硬件设备部署的，导致在业初期由于业务量小使设备利用率很低造成资源浪费，而且业务后期随着业务量的增量可能又会出现性能不够用的情况，安全设备的性能无法根据业务的要求而动态的扩展性能或者释放资源。

2.5不能适应大规模租户部署

云业务需要大量租户之间的隔离，当前的主流二层网络隔离技术为VLAN，但是在大量租户部署时会有两大限制：

一是VLAN可用的数量为4K左右，远远不能满足公有云或大型私有云的部署需求；

二是如果在大规模数据中心部署VLAN，会使得所有VLAN在数据中心都被允许通过，会导致任何一个VLAN的广播数据会在整个数据中心内泛滥，大量消耗网络带宽，同时带来维护的困难。

3.数据中心解决方案的概述

3.1数据中心演进节奏

DC1.0是传统数据中心所采用模块化、层次化的建设模式，针对不同类型及批次的业务进行分区分期建设。

这种“烟囱式”的建设方式存在着重复投资、资源利用率低、建设及交付周期长、网络规划复杂僵化、业务扩容困难等问题。

随着计算虚拟化技术的普及应用，数据中心实现了计算资源池化，不同业务可以按需申请计算资源；

同时，为了满足计算虚拟化对网络技术提出的大二层互通等新需求，开始应用VxLAN等网络虚拟化技术，数据中心建设进入了DC2.0。

在这个阶段，IT各部门负责前期统一规划建设和定期扩容，业务部门按需申请池化资源配额，项目建设及扩容不再和业务部门具体项目强相关。

计算和网络虚拟化技术的融合，有效提高了资源利用率，缩短了资源交付周期。

随着云计算技术的发展，数据中心跨入DC3.0时代。

云平台作为面向业务部门的用户界面，统一整合了对数据中心的计算、存储、网络池化资源，同时提供实时自助申请界面，帮助业务部门将业务开通时间缩短到分钟级别，真正实现了面向应用的自动化。

3.2数据中心解决方案架构组成

3.3数据中心解决方案特点

新IT业务平面和运维平面无缝融合，支撑面向应用的自动化

FabricDirector作为面向监控运维的基础架构管理平面，负责数据中心物理资源的部署、纳管，物理及虚拟资源的运维和监控；

云平台作为面向交付的云&

租户管理平面，负责数据中心虚拟资源部署，同时为PaaS及SaaS层面的应用自动化部署提供支持。

两者以数据中心资源生命周期管理为轴，实现了无缝融合。

开放、自动化、可编程的下一代网络架构，适用多种典型场景

1、SDN场景：

SDN控制器承上启下，北向提供完整的RestfulAPI，通过Neutron插件与OpenStack对接，同时支持各类第三方云平台对接；

南向纳管Openflow及EVPN两种组网形式；

是当前数据中心解决方案的主打场景

2、OpenStackPlugin场景：

无SDN控制器，由网元上运行的Comware平台直接对接OpenStackNeutron组件

3、第三方自动化软件场景：

针对特定用户需求，支持Ansible、Puppet等第三方自动化软件，为用户业务提供更多灵活性

完整的软件定义网络模型SDN＋，助力用户自描述网络

用户通过云平台申请计算资源、存储资源、租户虚拟网络，其中的计算和存储资源是业务部署需要，而虚拟网络负责将计算和存储资源连接起来。

为了满足不同业务的网络互通及隔离需求，必须支持完整的软件定义网络模型，包括：

1、提供完整的网络抽象模型

具备完整网络描述能力，抽象端口、L2、L3网络、L4~L7层网络服务。

2、基于网络抽象模型，用户自描述/自定义网络

租户虚拟网络根据自身需求可灵活自定义，而物理网络可保持不变。

3、分配、管控、呈现以及运维自定义网络

网络资源可基于租户、租户不同业务进行细分；

支持查看租户虚拟网络拓扑和物理网络拓扑的映射关系，并基于该统一拓扑进行运维和排障。

VCFFabric网络架构在实现完整的软件定义网络模型的同时，还提供了多样化的网络转发控制平面模型和Overlay组网方式，充分满足用户各类网络场景需求。

4.某大型企业项目数据中心SDN网络解决方案

4.1方案设计原则

某大型企业数据中心项目从业务实际需求出发，充分利用信息技术优势，从大处着眼，小处着手，与用户共同建设一个目标明确、管理清晰、执行顺利、平稳运行的项目，在系统的建设和管理过程中，我们将遵循以下原则：

1、注重顶层设计、统筹规划，分步实施原则

在项目的整体规划和总体设计阶段做好统一设计、统一标准、统一规范，然后分层、分阶段、逐步建设，关注每个阶段的产出和成果，在统一的目标下逐步完成整个项目的策略、需求、分析、设计、研发、测试、部署、试运行、培训、运维等工作。

同时充分发挥各类项目相关人的知识能动性，提供信息化建设的咨询指导。

2、强化应用建设，突出应用，关注实用原则

数据中心建设项目的建设效果和建设思路直接体现了建设项目最直接的产出。

因此，我们在建设项目过程中，将重点突出项目的应用目的，关注实用价值，以应用和需求为主导，并在建设的过程中基于业务服务的要求、IT技术的发展，边建设、边开发、边应用、边完善，让应用的实际效果作为项目直接驱动要素。

3、追求架构先进、技术成熟，扩展性强原则

项目建设中所采用的技术架构，在一定程度上影响着项目的稳定性，也影响到项目未来的发展。

因此在实施过程中我们将放眼长远，在保证可靠的基础上，尽量采用先进的网络技术、应用平台和开发工具，使数据中心系统建设项目具有较长的生命周期。

4、经济实用、节约成本原则

无论在产品的选型、技术的选择中，我们都要考虑成本的约束，其中不仅考虑当前采购的经济性，还要考虑系统长期运维的经济性，即系统的总拥有成本，尽力选择既经济可行又长期保障的产品和技术。

5、确保安全、保护隐私原则

在系统建设中要充分考虑到系统安全性以及敏感信息的隐私性，避免数据出现在共享信息里，从网络系统、硬件子系统、软件子系统的设计都要充分考虑安全保密，采用安全可靠的技术，保证建成的系统稳定运行。

6、重视资源、强调成长原则

在项目建设的过程中，注重信息资源和人力资源的管理，在数据资源方面，注重网络资源共享的效率性，实现网络互连、信息互通、资源共享，应用交互与协同的网络环境，同时注重各级人力资源配置的合理性，做好培训工作，与甲方的工作人员共同成长，充分发挥资源效能。

7、保护投资、充分利旧原则

在本项目建设过程中，充分利用现有资源，防止新铺摊子和重复建设，所有建设内容都依托现有条件和队伍进行建设，充分利用现有的资源、成果、设备，不搞重复建设。

8、先进性和成熟性

遵守先进性、可行性、成熟性，以保证系统的互操作性、兼容性、可维护性、可扩展性，并对前期投资有较好的保护。

9、一致性和复用性

本项目建设应充分考虑业务需求，要最大限度利用已有的资源，以减少重复投资，提高投资收益率。

10、实施有序性

统筹协调，建立相关管理制度，加强管理和指导，确保协调推进，有序实施，保证项目能够顺利、按时完成。

4.2整体组网设计

典型的ADDC组网图如上图所述，在这个图中，转发层的设备包括vswitch虚拟交换机、vxlan二层网关、vxlan三层网关、vFW、vLB、其他普通的路由交换设备。

控制层设备为VCF控制器。

管理层设备为VCFD（ADDCDirector）。

控制层设备和管理层设备可以集中部署在网络管理区。

物理设备由Director进行管理，可一键完成基础underlay网络、服务器和存储的自动化部署；

在业务网络层面，通过VXLAN技术构建的Overlay网络可以实现与物理网络的解耦，大大提高网络的灵活性。

VXLAN网络通过SDN控制器采用下发流表的方式指导数据转发；

对于一个用户的数据中心来说，服务器包含两种类型，即虚拟化服务器和非虚拟化服务器，虚拟化的服务器可以采用vswitch作为vtep，物理服务器则采用支持Vxlan的物理交换机作为vtep。

控制平面借助高可靠的SDNControllerVCFC集群实现管理和配置，VCFC控制器集中控制vtep和vxlan二层网关、vxlan三层网关。

Fabric区域网络的所有设备由SDN控制器+VCFD通过标准协议集中管理，VCFC负责控制平面，VCFD负责管理平面，减少了传统设备管理的复杂性。

同时当用户业务扩展时，通过集中管理用户可以方便快速的部署网络设备，完成Overlay和Underlay网络的自动化交付，便于网络的扩展和管理。

核心Spine设备核心系列交换机主要提供VXLAN三层网关功能，网关之间可以采用堆叠方式部署；

支持VXLAN报文的封装与解封装，并根据内层报文的IP头部进行三层转发，支持跨VXLAN之间的转发，支持VXLAN和传统VLAN之间的互通。

如果采用网络Overlay方式部署，即VXLAN协议由物理网络交换机处理，作为vSwith下的VM或物理服务器的接入设备；

采用该方式可以最大利用硬件交换机的芯片高速转发，对于新建的数据中心推荐或增加新的业务单元模块时推荐使用。

如果采用主机Overlay方式部署，即VXLAN协议由虚拟网络交换机处理，虚拟交换机可以提供VXLAN协议封装、解封装功能，支撑VM接入到SDN的Overlay网络。

用该方式可以最大利用现有的网络交换机进行部署，无需更换，对于已建成的数据中心SDN改造场景可以采用。

服务链功能主要是用来提供租户内东西向流量的安全服务，此功能由硬件安全设备或基于NFV形态的软件安全设备来承担；

控制器支持集中控制整个服务链的构建与部署，将NFV形态或硬件形态的的服务资源抽象为统一的服务资源池，数据需要按照业务逻辑所定义的顺序，依次经过这些服务节点，实现服务链的自定义和统一编排。

4.3数据中心SDN网络基础架构

Overlay网络的基础架构如下图所示：

Overlay网络的基础架构

VM（VirtualMachine，虚拟机）

在一台服务器上可以创建多台虚拟机，不同的虚拟机可以属于不同的VXLAN。

属于相同VXLAN的虚拟机处于同一个逻辑二层网络，彼此之间二层互通。

两个VXLAN可以具有相同的MAC地址，但一个段不能有一个重复的MAC地址。

VTEP（VXLANTunnelEndPoint，VXLAN隧道端点）

VXLAN的边缘设备，进行VXLAN业务处理：

识别以太网数据帧所属的VXLAN、基于VXLAN对数据帧进行二层转发、封装/解封装VXLAN报文等。

VXLAN通过在物理网络的边缘设置智能实体VTEP，实现了虚拟网络和物理网络的隔离。

VTEP之间建立隧道，在物理网络上传输虚拟网络的数据帧，物理网络不感知虚拟网络。

VTEP将从虚拟机发出/接受的帧封装/解封装，而虚拟机并不区分VNI和VXLAN隧道。

VNI 

（VXLANNetworkIdentifier，VXLAN网络标识符）

VXLAN采用24比特标识二层网络分段，使用VNI来标识二层网络分段，每个VNI标识一个VXLAN，类似于VLANID作用。

VNI占用24比特，这就提供了近16M可以使用的VXLANs。

VNI将内部的帧封装（帧起源在虚拟机）。

使用VNI封装有助于VXLAN建立隧道，该隧道在第3层网络之上覆盖率第二层网络。

VXLAN隧道

在两个VTEP之间完成VXLAN封装报文传输的逻辑隧道。

业务入隧道进行VXLAN头、UDP头、IP头封装后，通过三层转发透明地将封装后的报文转发给远端VTEP，远端VTEP对其进行出隧道解封装处理。

VSI（VirtualSwitchingInstance，虚拟交换实例）

VTEP上为一个VXLAN提供二层交换服务的虚拟交换实例。

4.4详细设计内容

4.4.1Overlay

Overlay基础概念

Overlay在网络技术领域，是一种网络架构上叠加的虚拟化技术模式，其大体框架是对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其它网络业务分离，并且以基于IP的基础网络技术为主。

Overlay网络是指建立在已有网络上的虚拟网，逻辑节点和逻辑链路构成了Overlay网络。

Overlay网络是具有独立的控制和转发平面，对于连接在overlay边缘设备之外的终端系统来说，物理网络是透明的。

Overlay网络是物理网络向云和虚拟化的深度延伸，使云资源池化能力可以摆脱物理网络的重重限制，是实现云网安融合的关键。

Overlay网络概念图

Overlay技术标准

IETF在Overlay技术领域提出VXLAN、NVGRE、STT三大技术方案。

大体思路均是将以太网报文承载到某种隧道层面，差异性在于选择和构造隧道的不同，而底层均是IP转发。

VXLAN和STT对于现网设备而言对流量均衡要求较低，即负载链路负载分担适应性好，一般的网络设备都能对L2-L4的数据内容参数进行链路聚合或等价路由的流量均衡，而NVGRE则需要网络设备对GRE扩展头感知并对flowID进行HASH，需要硬件升级；

STT对于TCP有较大修改，隧道模式接近UDP性质，隧道构造技术属于革新性，且复杂度较高，而VXLAN利用了现有通用的UDP传输，成熟性极高。

所以总体比较，VLXAN技术具有更大优势，而且当前VLXAN也得到了更多厂家和客户的支持，已经成为Overlay技术的主流标准，所以本文的后续介绍均以VXLAN技术作为标准进行介绍，NVGRE、STT则不再赘述。

VXLAN（VirtualeXtensibleLAN，可扩展虚拟局域网络）是基于IP网络、采用“MACinUDP”封装形式的二层VPN技术，具体封装的报文格式如图2所示。

VXLAN可以基于已有的服务提供商或企业IP网络，为分散的物理站点提供二层互联功能，主要应用于数据中心网络。

VXLAN具有如下特点：

使用24位的标识符，最多可支持16M个VXLAN，解决了传统二层网络VLAN资源不足的问题。

基于IP网络组建大二层网络，使得网络部署和维护更加容易，并且可以好地利用现有的IP网络技术，例如利用等价路由负载分担。

只有边缘设备需要进行VXLAN处理，VXLAN业务对网络中间设备透明，只需根据IP头转发报文，降低了网络部署的难度和费用。

VXLAN工作原理

VXLAN是一个网络封装机制，它从两个方面解决了移动性和扩展性：

它是MACinUDP的封装，允许主机间通信通过一个Overlay网络，这个Overlay网络可以横跨多个物理网络。

这是一个独立于底层物理网络的逻辑网络，虚机迁移时不再需要改动物理设备的配置。

VXLAN用24-bit的标识符，表示一个物理网络可以支持1600万个逻辑网段。

数量级大大超过数据中心VLAN的限制（4094）

在ADDC体系结构中，封装工作在VTEP上执行，VTEP可以是vswitch，或者是物理设备。

这样，VXLAN对主机和底层三层网络来说都是透明的。

VXLAN和非VXLAN主机（例如，物理服务器或Internet路由器）之间的网关服务由VXLAN三层网关设备执行。

Vxlan三层网关将VXLAN网段ID转换为VLANID，因此非VXLAN主机可以与VXLAN虚拟服务器通信。

Overlay网络分为2个平面，数据平面和控制平面。

Overlay数据平面提供

提供数据封装，基于承载网络传输，VXLAN使用MACoverUDP封装

Overlay控制平面提供

1、服务发现（ServiceDiscovery）

Overlay边缘设备如何发现彼此，以便建立Overlay隧道关系

2、地址通告和映射（AddressAdvertisingandMapping）

Overlay边缘设备如何交换其学习到的主机可达性信息（包括但不限于MAC地址、或IP地址、或其他地址信息）

Overlay边缘设备到主机的可达性问题，物理网络和Overlay网络地址映射

3、隧道管理（TunnelManagemen