高性能计算中心高性能计算中心项目详细设计方案Word文档下载推荐.docx

高性能计算中心高性能计算中心项目详细设计方案Word文档下载推荐.docx

《高性能计算中心高性能计算中心项目详细设计方案Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《高性能计算中心高性能计算中心项目详细设计方案Word文档下载推荐.docx（50页珍藏版）》请在冰豆网上搜索。

高性能计算机的最核心的需求仍然为适合高性能计算机的使用方的应用软件，从而帮助科研及生产工作，所以高性能计算采用的部件及架构要适合高性能计算软件。

例如，如果应用软件需要大内存、共享存储扩展等需求，则系统需要配置大内存及多核的SMP胖节点。

如果应用软件的扩展性不好，则在相同的预算下，尽量考虑高主频、核心较少的方案。

如果系统扩展性很好，则尽量考虑总体计算峰值最高的方案。

（四）.每瓦性能高

高效能代表着高性能计算的每瓦性能较高，这是评价高性能计算机架构是否科学、配置是否合理的重要指标。

能源的利用率对于降低总体拥有成本、节能减排有着重要意义。

（五）.总体功耗低

高性能计算机是能耗大户，一台高性能计算满负载运行，在他的生命周期内所消耗的电力的预算几乎和高性能计算机初期的预算一致，所以高性能计算机降低功耗非常有意义。

降低功耗一般可以通过选购效率较高的IT设备、提高制冷及空气调节效率、使用功耗控制软件等几个方面实施。

（六）.高密度

较高密度能满足用户机房空间有限的需求，同时，较高的密度能够有效节约空间，降低运维成本，降低管理难度。

（七）.可靠性要求相对不高

目前，高性能计算机主要架构为集群架构，一般工作方式为若干台X86服务器通过标准网络连接，通过作业调度软件将计算任务分发到不同计算节点上。

在一台高性能计算机系统中，网络系统、存储系统、管理登陆节点等都属于系统级组件，单一组件的不可用会导致整个系统的不可用，对可靠性要求非常高；

而集群计算节点由于作业调度可自动将不同作业分发到不同的节点上，少量节点的故障不会导致整个系统的不可用，所以在预算有限的情况下，可适当降低计算节点高可用性方面的预算，一般单个节点都配制一块本地硬盘，如果是机架服务器，也可考虑非冗余电源的情况。

刀片集群

系统共配置36片曙光CB60-G16刀片服务器，这36片刀片安装在4个曙光TC4600H刀片机箱中，双精度峰值达到16.128万亿次。

每个刀片服务器配置2颗十核IntelXeonE5-2680v2处理器，主频2.8Ghz，每节点配置64GBDDR31600MHz内存。

图3-2TC4600产品特点

目前，开放的集群（Cluster）系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了80%以上的份额，在中小规模的高性能计算系统中更是占据统治地位。

刀片式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面，都明显优于其它系统，且为系统的扩容升级提供了良好的基础，刀片系统的优势主要体现在以下几个方面。

●计算密度更高

提高计算密度是刀片服务器发展的主要动力之一。

对于大规模并行计算机来说，提高计算密度尤其重要，刀片式集群系统有效提高了计算密度。

●机房要求降低

大规模高性能计算机将对机房空间提出较高的要求，并且要为系统的扩容升级留下空间。

刀片式集群系统实现了较高的计算密度，并且有效降低了系统功耗，对系统空调等散热系统的要求也相对降低。

●功耗散热降低

刀片服务器的功耗部件较少。

刀片柜中的电源将由多个刀片共享，所以会使用高效率电源，减小了系统功耗，同时产生的热量减少，减少了冷却系统的耗电量。

节能的设计体现在曙光刀片服务器的各个层面：

1）根据实时功耗确定工作电源个数，使电源工作在最佳效率曲线上。

2）修改计算刀片操作系统内核，实现节能

3）多计算刀片任务调整调度

●布线简单

在机架式服务器构成的集群系统中，系统布线是一个很大的问题。

系统的线缆可能包括高性能计算网络（InfiniBand，以太网等）、数据网络、管理网络、监控网络、电源网络、KVM网络等，这些线缆需要连接到每一个计算单元。

尤其是在高密度、计算单元数目又比较多的情况下，系统布线是令设计人员头疼的问题。

刀片式集群系统可以大大减少系统布线的数量。

多个刀片服务器可以共用冗余电源，内置的交换机将高速网络（InfiniBand等）、数据网络、管理网络、KVM网络集成在一起，只需要对刀片柜进行布线，刀片柜内部的计算刀片通过背板连接，无需布线。

根据计算，使用刀片式集群，可以节省85%以上的系统布线。

●可靠性提高

曙光刀片服务器采用无源背板进行系统互连，与传统的线缆连接方式相比，把可靠性提高到了一个数量级以上。

刀片系统采取模块化、冗余、热插拔设计，进一步提高了系统的可靠性。

●管理方便

曙光刀片服务器管理监控高度集成：

通过统一的监控界面，监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。

管理系统整合目前两大监控技术，即IPMI以及KVM（OverIP），真正实现监视控制一体化。

同时，为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性，这些将降低总的所有权成本。

SMP胖节点

系统共配置2台SMP胖节点A840-G10，每节点配置4颗16核2.3GHzAMD6376X86-64处理器核心，每节点配置内存256GB；

SMP胖节点总峰值1.177万亿次。

高性能计算应用软件数量众多，需求复杂，单一的刀片集群方案并不能完全解决所用应用的需求，SMP胖节点在解决以下几类应用需求时有明显的优势：

◆共享存储并行程序

并行程序的编程标准目前主要有两类，共享存储并行程序（多线程和openmp并行程序）和消息传递并行程序（MPI并行程序），共享存储并行程序设计较为简单，有众多的应用实例，但共享存储并行程序无法实现跨节点的并行，只能单节点内并行。

SMP胖节点单节点核心数多，计算能力强，能够更好的实现共享存储并行程序的需求。

◆高通量（大内存）并行程序

对于很多科学问题，对内存容量的需求非常惊人，往往需要256GB的内存容量，才能很好的完成需求，由于SMP胖节点CPU数目多，体积大，从而能够容纳更多的内存插槽，能够满足应用海量内存的需求。

◆高I/O并行程序.

有的应用软件，在运行过程中需要大量的临时文件读写，而零时文件读写一般设置在本地存储上面，防止对系统网络文件系统带来巨大的破坏，刀片节点由于体积小，硬盘容量小，无法实现本地高速IO，SMP胖节点支持更多的硬盘位和更高性能的硬盘，对于这类应用有更好的支持。

◆图形处理以及其它外插卡需求

刀片系统由于空间的限制,硬盘位,内存插槽的数量受到限制,对各种标准接口的支持也打了折扣,有的厂商的刀片完全不支持,或通过降低密度来支持一些标准的接口,.

SMP胖节点由于空间大，性能高，配有多个高速插槽，可以插各种外接板卡，包括高端显卡，GPGPU，各种保密卡，HBA，HCA，万兆网卡等等，可以满足各种需求。

通过外插高端图形卡,强大的CPU处理能力以及强大的GPU浮点运算能力，能够满足大型电影、数字制作、虚拟、仿真、渲染等图形运用，大大提升图形处理能力，为用户节省更多的时间。

IntelE5-2600v2处理器性能优势

2013年10月，IntelXeon处理器E5-2600v2发布，E5-2600v2处理器相比上代双路服务器XeonE5-2600系列处理器在处理器架构上进行了重大调整，从而带来最高达到30%的性能提升。

E5-2600v2相比上代2600处理器，在处理器核心数、流水线长度、内存带宽等多个方面都对做出了重大提升，所以导致了性能的巨大飞跃。

对于最能衡量高性能计算处理能力的speccpu2006fp性能，相比上一代处理器，按照业界通用的SPECfp_rate2006测试，高达30%的性能提升。

图2-4intel至强系列

E5-2680V2详细指标

Microarchitecture

IvyBridge

Platform

Romley-EP

Romley-WS

Processorcore 

?

IvyBridge-EP

Manufacturingprocess

0.022micron

Datawidth

64bit

Thenumberofcores

10

Thenumberofthreads

20

FloatingPointUnit

Integrated

Level1cachesize 

10x32KBinstructioncaches

10x32KBdatacaches

Level2cachesize 

10x256KB

Level3cachesize

25MB

Multiprocessing

Upto2processors

Features

oMMXinstructions

oSSE/StreamingSIMDExtensions

oSSE2/StreamingSIMDExtensions2

oSSE3/StreamingSIMDExtensions3

oSSSE3/SupplementalStreamingSIMDExtensions3

oSSE4/SSE4.1+SSE4.2/StreamingSIMDExtensions4 

oAES/AdvancedEncryptionStandardinstructions

oAVX/AdvancedVectorExtensions

oF16C/16-bitFloating-Pointconversioninstructions

oEM64T/ExtendedMemory64technology/Intel64 

oNX/XD/Executedisablebit 

oHT?

oVT-x/Virtualizationtechnology 

oVT-d/VirtualizationfordirectedI/O

oTBT2.0/TurboBoosttechnology2.0 

oTXT/TrustedExecutiontechnology

Lowpowerfeatures

EnhancedSpeedSteptechnology 

Integratedperipherals/components

Memorycontroller

oThenumberofcontrollers:

1

Memorychannels:

4

Supportedmemory:

DDR3

Otherperipherals

oDirectMediaInterface

oQuickPathInterconnect（2links）

oPCIExpress3.0interface

Electrical/