超融合数据中心建设部署方案.docx
- 文档编号:10381230
- 上传时间:2023-02-10
- 格式:DOCX
- 页数:44
- 大小:3.12MB
超融合数据中心建设部署方案.docx
《超融合数据中心建设部署方案.docx》由会员分享,可在线阅读,更多相关《超融合数据中心建设部署方案.docx(44页珍藏版)》请在冰豆网上搜索。
超融合数据中心建设部署方案
超融合数据中心
建设部署方案
1.概述
对于任何机构而言,数据中心都好比是它的心脏。
员工、合作伙伴和客户都需要依赖数据中心里的数据和资源才能有效交流与合作。
过去十年来,随着互联网和Web技术的兴起,数据中心的战略地位变得越来越重要,因为它不但能提高生产率,改善业务流程,还能加快变革的进程。
总之,数据中心已经成为IT部门保护、优化和发展业务的战略重点。
要实现这些目标,数据中心建设面临着很多挑战。
过去几十年来,为适应经济的迅猛增长,多数企业数据中心都经历了一个快速发展期。
数据中心运行的应用越来越多,但很多应用都相互独立,而且在使用率低下、相关隔绝的不同环境中运行。
每个应用都追求性能的不断提高,一般情况下,数据中心必须支持多种操作系统、计算平台和存储系统。
这种需要支持多个应用“孤岛”的分立式基础设施不仅难以变化和扩展,而且管理、集成、安全和备份成本很高。
传统的数据中心正变得过于复杂,成本高昂并且效率低下,逐步成为了企业业务进一步发展的最大的瓶颈。
传统数据中心的体系架构已经有超过10年没有变化:
部署了过多的交换节点,设计及实际运行中的大部分的是低性能、低密度的设备。
而用户和应用的增长几乎一直都伴随着机柜和设备的增长。
更为严重的是,这些升级在生产环境中引入了新的未经测试的操作系统,紧接着的是额外的投资开销、机架空间、电源消耗及管理费用,这些都直接导致了数据中心运维的整体复杂性以及成本的大量增加。
根据行业预测,70%的IT预算都花费在了现有应用环境的维护上。
因此,IT机构必须提高运行效率,优化数据中心资源的利用率,才能将节省出来的资金用于开展新的盈利型IT项目。
另外,数据中心建设需要建立永续基础设施,才能保护各种应用和服务免受各种安全攻击和干扰的危害。
与此同时,数据中心领域也在不断涌现出大量的创新,包括服务器虚拟化、以太网存储、新的业务应用交付模式等。
这些创新能够推进企业数据中心效益的进一步提升。
数据中心的融合和虚拟化趋势加速了资源的优化及成本的下降。
融合、虚拟化及存储对网络性能和安全都提出了更高的要求。
而服务器虚拟化不仅大幅提高了服务器资源的使用率,也大幅增加了网络内部的数据业务量。
运行在虚拟服务器环境下的应用,要求更低的延迟、更高的吞吐量、更加强壮的服务质量(服务质量(QoS)和极高的可靠性HA(HIGHAVAILABILITY)。
传统的数据中心已经不能满足每端口增加的业务量及性能要求。
更进一步,数据存储的高带宽和低延迟要求,以及更多的采用iSCSI和NAS,则更增加了对网络架构的要求。
而随着未来FCoE(FiberChanneloverEthernet——以太网光纤隧道)的标准化,该技术必将对网络架构提出更高的带宽和性能要求。
此外,如SOA(ServiceOrientedArchitecture——面向服务的架构)和WOA(WebOrientedArchitecture——面向Web的架构)等新的应用架构,以及如云计算、桌面虚拟化和软件既服务(SaaS-SoftwareasaService)等新的业务,也对数据中心网络架构产生更高的性能和带宽要求。
这些更高的需求要求数据中心部署全新的高性能的网络平台,以提高数据中心的生产率,同时降低了数据中心的新应用进入市场的时间和运维成本。
2.数据中心的发展趋势
2.1数据中心集中化和使用者的分散化
为了降低运行维护和数据整合的成本,简化操作,并符合法律法规的监管要求,越来越多的企业在考虑整合合并其数据中心。
据Nemertes研究公司的报告称,超过50%的公司在过去的12个月之内,合并其分散的数据中心为整合的集中的大型数据中心,而这一趋势在今后的12个月内更加显著。
整合的大型数据中心除了能够满足高可靠性的要求,确保不间断的业务,同时还能够降低数据中心的处理时延,并提供更高的安全保障。
同时,企业数据中心的设计还必须满足越来越分散的使用者(分支机构、门店或个人)的趋势,据Nemertes的研究报告,企业中约89%的员工是工作在总部以外的区域,如远程的分支机构。
此外,虚拟化的趋势已进一步扩展了企业数据中心的使用者范围,包括企业的承建商,咨询顾问,业务伙伴和客户等等,这些用户需要在世界任何地方、任意时间接入并使用数据中心的应用。
因此,企业必须提供7X24小时的高可靠的用户的安全连接和使用,同时确保所有企业资源和应用的安全性。
2.2服务器的分析
Gartner公司称,数据中心平均每年服务器保持了11%的增长率,而存储则是22%。
这些快速的增长带来对数据中心的电力供应和冷却能力的巨大压力。
2014年的Forrester的报告也指出,51%的企业将集中部署服务器作为一个关键优先考虑事项。
Gartner还报道指出,大多数企业的服务器都只运行了其能力20%,因此,通过虚拟化新技术,能够更好地利用这些闲置浪费的资源。
此外,集中式部署的数据中心的备份和安全问题必须得到解决,集中的数据中心也要求能够具备统一、集中的管理解决方案,从而减少时间和资源投入,以保持数据中心的可靠性和可用性。
2.3虚拟化
虚拟化是一种用于共享资源,使单一的物理资源划分为许多个别独立的资源的技术手段。
反过来虚拟化也可以使得多个独立的物理资源整合为一个统一的资源。
虚拟化的好处是在以最小的成本,创造更灵活的系统,可以轻松地提供灵活的部署,先进的自动化,安全和易于管理的优势。
虚拟化主要应用在四个主要资源类别:
服务器,存储,网络和最终用户桌面。
服务器虚拟化让一台服务器通过如VMware®或MicrosoftVirtualServer软件,虚拟化为多台机器。
服务器虚拟化使IT管理人员能够灵活地管理Server上的工作负荷,并提供相应的HA和灾难恢复服务。
存储虚拟化有助于使许多存储阵列、池和系统显示为一个单一的资源,提供这些资源的无缝缩放,从而实现更加方便的数据迁移,提高资源利用率和简化的管理规定。
虚拟化的网络是通过不同的虚拟化技术,实现数据平面的虚拟化、控制平面的虚拟化和管理平面虚拟化。
客户端虚拟化使IT管理人员能够提供快速的、无所不在的托管桌面访问,以实现完全的安全、易于管理和升级。
2.4SoA基于业务的数据中心架构
新兴企业正在越来越多地采用面向服务的架构(SOA)的业务流程,通过各个不同的独立的业务功能模块,构建大型的集成的应用系统。
虚拟化技术在SOA的环境中得到了广泛的使用,通过虚拟化技术,能够增加服务的可靠性,实现无缝的扩展。
在这种方式下,IT部门可以在不同的应用程序进程之间整合各种关键的技术。
在一个基于SOA的环境中,各个业务功能模块之间进行大量的,密集的信息交换和互通,这对数据中心的网络带宽会带来新的影响和冲击。
2.5绿色数据中心
随着业务和终端用户利用越来越多的网上资源,企业必须建立他们的IT架构去支持这些网上应用,但很多企业都面临着数据中心运行维护的成本问题。
据权威统计,一个企业的平均存储需求每年都以20-150%的速度增长。
其中,服务器增长11%,应用程序增长10%。
因此,承担众多业务应用的企业数据中心消耗了翻倍的能源,并产生成倍的热量。
美国环保局的一个调查发现,2006年服务器设备电力消耗占美国全部电力消耗的1.5%。
企业在电力上的花费比在硬件设备上的花费还要多。
对于新建的数据中心而言,重要的是要确保数据中心网络基础设施能够实现最大的能源利用和空间利用效率,从而实现最低的运行维护成本。
绿色倡议,跟踪。
在设计一个数据中心时,必须考虑到电力和冷却资源的使用,二氧化碳排放量等这些关键因素。
2.6安全
联邦调查局的统计显示,2006年至少72%的公司遭遇过安全事故。
2006年Forrester研究公司的调查发现,57%的企业将“升级安全环境”列为公司IT方面的首要任务。
由于数据中心业务系统的的集中化和使用者份额分散化,远程用户被授予的网络接入范围日益广泛,因此必须在企业的数据中心提供有效的安全保障,如提供分支机构用户以安全的远程接入通信方式接入到数据中心,或者提供远程机构到核心网络之间的站点到站点通信。
另外,还必须考虑到数据中心内部不同应用系统、不同虚拟机之间的安全,多个数据中心之间的连接的安全性,如主备数据中心之间的流量安全等问题。
3.数据中心的建设策略
博科通讯数据中心架构解决方案简化了数据中心的安全与网络设计。
通过消除传统架构中的多个交换节点,全新的简化网络设计需要更少的设备和互联链路-带来空间、电源、制冷以及管理的更高效率。
设备的减少、性能的提高以及高可用性,是通过具有线速性能的虚拟集群交换(VirtualClusterSwitching)技术获得的。
通过将传统的“杂乱式安全/负载均衡”等网络功能设计整和到网络功能虚拟化(NFV)部署,解决方案简化并提高了L3-L7等网络功能的部署效率。
这些NFV产品基于动态服务架构并提供真正服务集成,使得新增网络功能的部署速度的大幅提升成为可能。
另外,通过提高跨越多个数据中心的汇聚核心网络的扩展性,高级路由技术和平台实现了业务操作的灵活性。
数据中心也能在更低的复杂性下快速部署新的应用和支持新的服务,从而以更高的性能和更低的成本实现业务发展目标。
新一代数据中心的整体建设思路:
1。
可扩展性:
成长的提供可扩展的网络架构和数据中心处理能力。
2。
快速:
能够支持任何通信应用程序或服务,提供高带宽,降低处理延迟。
3。
可靠性:
满足数据中心集中化后的高可靠性要求。
4。
安全:
对数据中心的各类应用和网络平台本身提供安全保障。
5。
简单:
降低管理维护复杂性,降低成本。
4.网络架构的简化
4.1传统网络架构的问题
传统的数据中心网络架构采用了核心—汇聚—接入的三层网络架构模型,这一方面是受到了传统的园区网络三层架构的建网模式的影响,同时早期的设备也无法满足核心—接入这样的二层架构所需要的端口密度和性能要求。
在三层网络架构发展的时期,这种模式是必不可少的,因为局域网交换技术力求满足大多数企业的交换性能需求,而功能分层是提高性能的一种行之有效的方法。
例如,骨干交换机的速度恰好能够支持大多数核心应用,如果再让它去执行复杂的路由或过滤任务(通常在软件中执行),运行速度定会急剧下降。
因此,这些功能被分配给了多个汇聚交换机,以便核心交换机能够专门执行简单的交换任务,从而最大限度地提高性能。
采用这种设计方法,大型网络会需要多个核心交换层来进一步扩大规模,每层通常执行不同的任务。
使用这种方法创建的一些参考设计至今仍被作为模板来使用,交换层能多达五个,每层都由多个设备组成。
这类配置中,用于连接交换机的以太网端口数量,通常与连接用户或服务器的端口数量相同。
随着这种方法日益成熟,交换机供应商开始寻求通过汇聚层提供更加丰富的服务,不仅包括路由访问控制列表和其它低级别数据包处理功能,还包括防火墙和流量分析等其它功能——这类功能通常由服务板卡提供,服务板卡可添加到所有的汇聚层交换机。
在极端的情况下,供应商可能会将服务板卡添加到每一个网络层次,以期改进服务/提高安全性;事实上,在各层复制相同的功能,只会徒劳无功。
而在当今的数据中心,如果继续采用这种网络架构将存在以下几个方面的问题:
1,网络的层次较多,处理效率低;多增加了一个汇聚的层面,就会额外增加汇聚设备的处理时延、线路时延等;同时由于网络节点数量增多,也增加了部署成本和设备故障的几率;
2,由于汇聚层面设备一定存在处理性能和上行带宽的收敛比,在数据中心规模不断扩大的情况下,汇聚设备会成为整个网络的瓶颈,出现拥塞、丢包等问题;
3,在网络扩容时,不仅仅需要增加接入层的设备,同时也必须考虑到汇聚设备的性能和端口密度能否满足要求,也需要进行相应的扩容,带来投资成本的增加。
4,网络设备之间的STP、LAG、路由处理、安全等等相互之间的交互信息,随着设备数量的增加,会成几何级数激增。
a)以10台交换机为例,设备之间的交互量为10x(10-1)/2=45;
b)而如果是100台交换机,交互量则上升至4950;
c)如果是1000台交换机,则交互量为499500,几乎无法正常管理和应用的地步。
5,早期数据中心的流量模型是Client—Server流量占绝大多数,而随着数据中心虚拟化的部署,新的数据中心流量模型中,大多数的流量是在内部服务器之间进行通信,甚至能够达到整体流量的75%甚至更高,这种部署架构会导致服务器之间流量需要通过汇聚层甚至核心层设备转发,效率低下,且性能很差。
4.2Gartner的调研报告
Gartner在《最大限度减少网络交换层,显著降低成本并提高效率》的调研报告中也指出,过去,针对交换机性能有限的环境,我们创建了现有的局域网设计方法。
如今,大容量交换机采用全新的设计方法,从而降低园区及数据中心局域网的成本和复杂性。
过去三年来,局域网交换机市场发生了显著的变化。
虽然企业的流量需求在不断增长,但局域网交换机容量的增长速度更快。
此外,更复杂的功能不是在软件中执行,而是直接嵌入到芯片中,这样可以通过交换机的所有端口“线速”提供这些功能,同时不会影响交换性能。
现在,最大型的企业级局域网交换机每秒可处理超过一个T的交换容量,能够支持近1,000个1Gbps以太网端口或者200多个10Gbps端口。
与前几代产品相比,这些新型交换机中的服务板卡的数量呈下降趋势。
以前,交换机性能有限,我们创建了传统的局域网设计方法。
当前,许多企业在设计网络时,仍在沿用这种方法。
在某些情况下,他们保留汇聚层只是为了提供防火墙等服务模块,这与最初的设计理念完全背道而驰——汇聚交换机的最初目的是便于企业提供更多功能。
现在,您可以根据新的市场条件,采用新的方法来设计局域网。
由于所有的交换机端口都能在不影响性能的情况下提供丰富的功能,因此您可以放弃三层设计方法,而选择更为精简的拓扑结构。
例如,可以使用单层交换机来支持小规模配置;使用两层交换机来满足企业园区及数据中心的大多数需求;使用三层交换机来支持超大规模的网络部署(见图2)。
减少交换层次的网络设计方法不会影响冗余功能,因为核心交换机通常作为完全冗余部署,具有永续特性,如冗余电源以及控制和交换矩阵等。
在数据中心,接入层通常也采用双冗余配置的部署模式,将服务器同时连接到两个交换机中。
这种全新的精简方法设计局域网的主要优势在于,能够减少网络中的交换机和链路数量,从而降低前期购置成本和后期维护成本。
此外,精简的配置还能降低电力和冷却需求,这对数据中心网络尤为重要。
通过减少交换层数量,流量需要穿越的交换机数量也会减少,从而可以缩短延迟,提高应用性能。
此外,简单的配置还有助于简化网络管理,减少需要配置的设备,以及需要排障的端口和线缆数量,并简化路由和虚拟局域网(VLAN)的配置。
5.超融合数据中心解决方案
5.1云数据中心整体架构
新的基于云的数据中心架构中,基础的物理设施,包括基础网络平台(路由器、交换机、防火墙、负载均衡设备等)、计算平台(PC服务器、小型机、刀片式服务器等)以及存储平台,都应该能够通过一些虚拟化的方式,将其转变为虚拟化的资源池。
这些虚拟资源池可以通过上层的业务控制层面,如云计算管理平台或者SDN控制器平台,通过灵活的南向接口(如openflow)实现资源灵活的按需调度、分配、回收和高效利用。
另外,控制平面还能够提供开放的北向接口(如RESTfulAPI),实现与各类应用系统以及上层的业务系统之间的对接,最终实现了底层硬件资源与顶层业务逻辑之间的无缝整合。
5.2简化数据中心矩阵
在大量的数据中心环境中,需要部署大量的以太接入交换节点提供服务器连接到网络核心。
为减少交换节点,Brocade数据中心架构解决方案采用虚拟集群交换(VirtualClusterSwitching)技术,支持高达48台的VDX系列交换机互联,形成单一的逻辑设备,实现整个数据中心网络架构的最简化。
虽然全部的交换机以单一平台运行,但在虚拟交换集群配置中的每台独立物理设备都有其自身的电源输入和风扇盘阵和转发ASIC,提供可靠的以太网交换能力。
因此,由于采用了高性能的交换核心和网络边缘设备,同时通过VCS技术实现了网络架构的简化,因此新的数据中心的网络可以多台物理设备虚拟化为单台逻辑设备的一层架构,从而提升效率、减少故障点、降低管理维护工作量。
博科新一代虚拟集群交换技术(VCS)产品VDX产品作为新型用户和业务的云架构平台,VDX系列交换机不仅能够自动识别虚拟化的服务器,同时能够在虚拟机迁移时自动实现端口状态的迁移(AMPP)。
与此同时VDX交换机具备以太网矩阵、分布式智能性、逻辑机箱的特点和支持数据中心以太网桥接DCB和FCoE的网络融合技术、支持TRILL等新一代网络组网技术等特点,为构建新一代云计算架构的平台提供最佳的网络平台。
5.2.1虚拟集群交换技术VCS
打造云计算架构的数据中心关键在于全面展开的服务器和应用虚拟化,在于建设一个真正意义上的可增长、不间断运行的平台,而目前市场上流行的数据中心交换机设备并不能实现这一目标,由于不能识别虚拟机的存在,当然也不能帮助实现虚拟机迁移过程中的自动端口状态迁移。
目前的数据中心网络结构普遍采用生成树协议来实现链路的冗余和备份,但是生成树的收敛时间过长,常常导致网络的短暂中断。
博科公司正是为了解决上述种种问题,专门针对虚拟化架构下的数据中心开发了下一代虚拟交换技术VCS。
这种由博科开发的新技术旨在满足虚拟化数据中心的独特需求。
通过将架构交换的可靠性、灵活性和可扩展性应用于数据中心架构,博科VCS克服了传统以太网网络的限制。
通过VCS,博科将帮助客户把现有网络架构无缝过渡到融合数据中心架构。
博科的VCS虚拟集群交换技术通过4项专为高度虚拟化服务器和存储环境而优化的基本技术创新来转化数据中心网络:
1.博科VCS使企业机构能够构建业界首个融合数据中心架构。
这些架构本身是多路径的,并具有弹性,有效减少了对生成树协议(STP)的需求。
2.博科VCS提供了一个完全无主机的分布式控制平面。
这种系统可持续同步各个节点之间的状态、状况和配置信息——如:
虚拟机(VM)元数据、网络和存储政策,使融合架构得以自我形成、自动修复并自行配置。
3.通过将集群当作单一的逻辑机架,博科VCS大大简化了管理。
这种管理方式显著减少了架构中管理的网元数量,并降低了相关成本和复杂性。
4.博科VCS还使服务能够动态插入融合架构中,并且无需中断网络或重新配置网络。
在数据中心中,采用Brocade的VDX系列交换机,采用任意拓扑结构互联,无需额外的配置即可自动构建VCS虚拟交换集群矩阵,最多48台VDX交换机可以构建成VCS矩阵并作为一台独立的逻辑设备进行统一的配置、管理、维护。
可选择的交换机系列包括VDX8770系列、VDX6940系列和VDX6740系列。
当数据中心规模较小、VDX设备节点数不多的情况下,可以采用设备之间直接互联的方式构建VCS矩阵。
如采用五台VDX6740数据中心交换机通过40GE线路full-mesh互联的架构下,数据中心矩阵可以提供240个千兆/万兆自适应接口。
但需要注意的是,采用这种架构时今后矩阵的扩展会导致矩阵拓扑结构的改变。
而当数据中心规模逐渐扩展,需要更多的接入端口时,可以采用Spine+Leaf的网络架构,实现矩阵规模的按需平台扩展。
在实际部署时,可以采用VDX6940作为Spine根节点设备,VDX6740作为叶节点设备,通过40GE链路实现节点之间的互联,如下所示。
在这种模式下,数据中心矩阵的规模可以平滑扩展到4台VDX6940+36台VDX6740。
而当数据中心对Spine节点有双主控等冗余特性需求时,建议采用VDX8770作为Spine节点,提供更好的冗余特性和扩展能力。
对于数据中心40GE的部署,Brocade提供了以下几种方案:
光模块型号
距离
OM3/OM4
光纤
连接接头
IEEE标准
40G-SR4
100/150m
12fiber
MTP
Yes
40G-eSR4
300/400m
12fiber
MTP
Yes
40G-LM4
140/160m
SMF:
2KM
2fiber
LC
No
对于采用40G-SR4或者40G-eSR4的光模块而言,光纤布放需要采用12芯光缆,且需要定制MTP的连接接头,成本较高。
而当采用40G-LM4光模块时,可以采用现有数据中心已经布放的OM3/OM4的光纤上,且只占用一对光纤,成本较低易于部署。
另外,当采用单模光纤时,40G-LM4的距离可达2KM,能够用较低成本满足远距离数据中心40GE互联的需求。
5.2.2通过TRILL构建无缝扩展数据中心
将VCS设计为构建大型、高性能、平面式2级数据中心架构所必需的核心技术,以便更好地支持更多客户采用服务器虚拟化。
随着客户部署更多虚拟机,基于数据中心桥接(DCB)技术上的VCS在可以满足对网络可靠性和性能越来越高的要求。
博科帮助引领数据中心桥接技术通过行业标准机构的认证,确保该技术适用于要求苛刻的数据中心网络。
作为支持融合架构数据中心的技术,VCS实现了以太网矩阵架构,支持DCB(数据中心桥接)和FCoE技术,这样原来各自独立的数据中心IP网络、IP存储网络和FC光纤通道网络可以实现网络层面上的融合。
而以太网矩阵结构则帮助实现了网络中任何节点、任何链路的变化不会造成网络运行的中断。
博科VCS中另一个关键技术就是新兴IETF标准——多链路透明互联(TRILL),它以更高效地方式在融合架构中迁移数据。
TRILL是多链接透明互联的缩写,而且也是IETF(互联网工程任务组)推荐的连接层(L2)网络标准。
TRILL具有很高的重要性,因为大型数据中心开始利用FCoE(以太网光纤通道)等新技术将存储传输和IP传输融合到以太网连接上,而标准的生成树协议(STP)将不再适合融合网络或超大型数据中心的扩展。
随着FCoE采用率的提高,企业存储将开始加入IP网络上的其他协议。
从存储的角度来看,随着时间的推移,TRILL可以代替L2网络上普遍使用的STP协议。
STP的弱点是它是在超小型集线器年代设计的,其年代甚至在交换机之前。
虽然STP有几种分类型,但是从设计上来说,它的设计是确保到一个特定点的连接只有一个路径。
STP的目标是创建一个无环路的架构。
当然,几乎所有网络都有冗余路径。
通过STP,所有这些冗余路径都被阻止了。
随着环境的扩张,多个交换机和更多的路径被加入到架构中,但是STP仍然会阻止所有路径,只留下一个路径。
当活跃路径发生故障的时候,网络必须在新路径上重新融合。
在大型网络中,重融合过程需要花费几秒钟时间。
虽然这看起来还可以为标准IP通信所接受,但是对于存储或融合网络来说就不可接受了,特别是那些有虚拟环境的络。
STP的另一个弱点就是从网络带宽的角度来看STP并不是非常有效率。
首先,所有被阻止的路径都代表着闲置的带宽。
单位带宽的增加意味着有越来越多的带宽没有得到利用。
其次,活跃路径可能并不是两个设备之间最有效或最短的通信路径。
其实,STP上的数据经常采用的是网络上的"优美路径"而不是直接的或最短的可用路径。
这个缺点不仅会影响存储,对虚拟环境下实时虚拟机迁移也是不利的。
将虚拟机或应用程序迁移到另一个服务器可能需要通过几个路径和交换机,而次优的路径选择只会使性能变得更差。
虚拟机(VM)迁移也需要同主路径上的其他传输相竞争。
实际上,许多大型虚拟环境会设置一个专用的VM迁移网络。
如果利用好前述被阻止的路径,也就是说通过原先被STP闲置的路径来迁移虚拟机,那么事情将简单许多。
TRILL的一个目标就是寻找最短可用路径并利用这个路径。
要做到这一点需要了解整个拓扑以及当时当下的网络利用情况。
在生成树设计的年代,集
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 数据中心 建设 部署 方案
![提示](https://static.bdocx.com/images/bang_tan.gif)