高性能计算系统设计方案汇编Word文档下载推荐.docx
- 文档编号:19653347
- 上传时间:2023-01-08
- 格式:DOCX
- 页数:40
- 大小:3.22MB
高性能计算系统设计方案汇编Word文档下载推荐.docx
《高性能计算系统设计方案汇编Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《高性能计算系统设计方案汇编Word文档下载推荐.docx(40页珍藏版)》请在冰豆网上搜索。
我们可以看到,对于千兆以太网,带宽达到112MB/s,延时非常高,达到47.57us。
而使用万兆以太网,虽然带宽和延时均有显著提高,但是与Infiniband网相比,还是有较大差距。
万兆以太网使用TCP/IP协议,带宽达到770MB,延时约为12us,使用Iwarp的RDMA协议,性能有一定提升,带宽达到1046MB/s,延时达到7.68us。
对于Infiniband网,DDR和QDR的带宽有较大差距,但是延时比较接近,分别为1.6us和1.3us。
值得注意的是,QDR的IPoverIB的性能有了大幅的提升。
1.1.4操作系统
高性能计算的操作系统由最初的Unix操作系统为主,目前随着集群架构的逐渐广泛和Linux操作系统的逐渐成熟,Linux操作系统逐渐成为高性能计算机的主流,占到80%以上的市场份额。
为了使得集群系统有较好的兼容性,可以配置多种操作系统,如Linux(Redhat,Suse),WindowsHPCserver等.
第2章系统方案设计
2.1方案总体设计
2.1.1系统配置表
序号
名称
技术规格
单位
数量
1
硬件部分
1.1
计算子系统
刀片平台
TC4600
标准19英寸5U机架式刀片机箱、可以支持14个计算刀片;
1*管理模块,集成远程KVM和远程虚拟媒体;
2*千兆网络交换模块,提供6个RJ45千兆接口;
4*冗余热插拔散热模块;
4*2000W电源(3+1冗余热拔插);
台
5
计算刀片
CB60-G15带FDR计算刀片
2*Intel
Xeon
E5-2660八核处器
(2.2GHz);
8*8GB
DDR3
1333MHz;
1*300G2.5寸10000转SAS硬盘;
1*56Gb
Infiniband
接口;
2*1000M以太网接口;
片
63
管理/登录节点
曙光I620r-G10
2U机架式;
2×
Intel
8×
4GB
1×
300G2.5寸10000转SAS硬盘;
56Gb
1000M以太网接口;
1*冗余电源;
1*超薄DVD-RW;
1*上架导轨;
2
1.2
存储子系统
存储系统
曙光DS600-G10双控FC
3U,16盘位,双控制器,4个8Gb/sFC+8个1GbISCSI主机通道,双锂电池,2*2GBCache;
冗余电源;
含4个SFP(8Gb);
Cache容量可升级为2*16GB;
600G15000转6GbSAS硬盘*16块
套
1.3
网络子系统
计算网络
IB交换机
FDRInfiniband交换机,36端口
Infiniband线缆
MXMC2207310-00556GBQSFPFDR5MIB光缆
根
65
管理网络
千兆交换机
48端口交换机,10/100/1000baseT铜接口
防火墙
集群安全模块
TLFW-1000T龙芯防火墙标配6个千兆电口,1U机架。
并发连接数120万,吞吐量1G,支持SSLVPN隧道数300配合Nikey智能密钥*10:
曙光精心打造的USBKey解决方案,内置8位国产安全芯片,自主开发COS。
硬件实现数字签名,私钥永不出Key。
1.4
机柜子系统
机柜系统
曙光天潮标准机柜
标配2个PDU、双侧门,无电源箱,无监控液晶触摸一体机
个
3
曙光天潮标准电源箱
380V无监控电源箱
监控系统
曙光智能机柜监控系统
支持四台机柜温湿度远程监控
曙光集群监控中心
监控液晶触摸一体机,含LCD、触摸屏、监控主机各1套,安装在机柜前面板门上
控制台
曙光集群控制台
1U手动伸缩控制台(曙光17”液晶显示器、鼠标、键盘、8口切换器等)
视频切换系统
SKVM
SKVMIVOverIP(包含键盘鼠标)
CIM
KVM节点控制模块
7
软件部分
操作系统
Linux
SuSE
Linux
企业版
集群管理系统
曙光GridView2.5
GridViewHPC版,支持系统部署、系统监控、集群管理、数据报表、统一告警、作业调度。
basicportal,包含serial和mpi,支持互动作业,作业故障自动切换重启,文件传输,查看修改文件操作。
GridviewClusQuota集群配额系统,可支持用户机时配额管理,充值计费管理,用户信用管理等功能。
(可选)
应用门户系统
曙光GridviewClusportal系统
包含Fluent软件作业调度
应用开发环境
编译器
GNU
编译器,支持C/C++
Fortran77/90
Intel编译器,支持C/C++Fortran
数学库
MKL,BLAS、LAPACK、ScaLAPACK、FFTW
MPI并行环境
OpenMPI(支持Infiniband和以太网的MPI环境)
MPICH2(支持千兆以太网的MPI环境)
2.1.2系统拓扑图
2.1.3系统方案说明
◆计算系统CPU整体峰值性能达到17.7万亿次,可以扩展到500万亿次;
◆主要产品都采用了冗余设计(电源、风扇等),存储系统采用冗余设计,系统的可靠性有较高保证;
◆系统功耗(不含空调制冷系统)不超过为,150千瓦,电费可按此核算;
◆曙光公司将为用户提供完善的服务,包括安装调试、系统优化、用户培训等,这些都不单独收费,用户不必考虑这些方面的费用;
◆曙光公司提供5年免费上门服务,极大降低了用户的运行维护费用;
◆曙光公司是领先的专业高性能机算机及方案提供商,拥有较多的成功案例,包括百万亿次超级机算机的成功案例,产品的可靠性和稳定性得到了充分验证。
2.1.4需求相应分析
●先进性
本系统中,我们使用的刀片集群架构,为目前高性能发展的先进趋势。
使用的最新一代IntelE5-2600处理器,为目前性能最高的X86处理器。
使用的FDR网络,也为目前最为先进的网络技术。
同时,系统中使用的并行文件系统、自动功耗管理系统和HPC应用WEBpotal,均代表着HPC的先进的发展方向。
●高可靠、高可用需求
系统采用刀片服务器,冗余电源,双控制器存储系统、高级别RAID系统,以及关键节点的HA双机,同时,高效管理监控系统也是保证系统高可靠、高可用的保证。
●适合用户应用软件需求
用户应用软件众多,用户众多,对计算需求大,系统共配置101TFLOPS的计算能力。
针对部分应用对节点间网络需求高,配置了高带宽,低延时的FDRInfiniband网。
带宽达到56Gbps,延时小于1us。
同时,海量计算时的IO并发读写量巨大,对存储的容量和性能需求惊人,系统配置了并行存储系统,能够实现所有存储的统一地址和并发读写。
●易使用需求
系统配置了HPCWEBPortal,可以有效降低用户使用难度。
同时,针对系统和应用的专业培训,也能提高使用人员的使用水平。
针对应用软件的安装调试也大大降低了用户的使用难度。
●可扩展性需求
集群的架构可以保证计算系统的良好扩展,同时,并行存储的架构也实现对存储系统的扩展。
●易管理维护需求
配置高效管理系统,支持监控、告警、管理、报表等多项功能,解决管理员的后顾之忧,同时,对管理员的培训和对系统的运维支持,也能有效提高系统的管理水平。
●节能环保需求
配置了刀片系统和高效节能系统,支持空载节点的自动待机,能够有效降低能耗,帮助用户节省运维成本。
2.2计算系统
2.2.1刀片集群
系统共配置63个双路8核刀片服务器,主频2.2Ghz,双精度峰值接近17万亿次。
目前,开放的集群(Cluster)系统具有较多的优势,已经占据了目前高性能计算机的主流位置,在TOP500中占据了80%以上的份额,在中小规模的高性能计算系统中更是占据统治地位。
刀片式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面,都明显优于其它系统,且为系统的扩容升级提供了良好的基础,刀片系统的优势主要体现在以下几个方面。
⏹计算密度更高
提高计算密度是刀片服务器发展的主要动力之一。
对于大规模并行计算机来说,提高计算密度尤其重要,刀片式集群系统有效提高了计算密度。
⏹机房要求降低
大规模高性能计算机将对机房空间提出较高的要求,并且要为系统的扩容升级留下空间。
刀片式集群系统实现了较高的计算密度,并且有效降低了系统功耗,对系统空调等散热系统的要求也相对降低。
⏹功耗散热降低
刀片服务器的功耗部件较少。
刀片柜中的电源将由多个刀片共享,所以会使用高效率电源,减小了系统功耗,同时产生的热量减少,减少了冷却系统的耗电量。
节能的设计体现在曙光刀片服务器的各个层面:
1)根据实时功耗确定工作电源个数,使电源工作在最佳效率曲线上。
2)修改计算刀片操作系统内核,实现节能
3)多计算刀片任务调整调度
⏹布线简单
在机架式服务器构成的集群系统中,系统布线是一个很大的问题。
系统的线缆可能包括高性能计算网络(Infiniband,以太网等)、数据网络、管理网络、监控网络、电源网络、KVM网络等,这些线缆需要连接到每一个计算单元。
尤其是在高密度、计算单元数目又比较多的情况下,系统布线是令设计人员头疼的问题。
刀片式集群系统可以大大减少系统布线的数量。
多个刀片服务器可以共用冗余电源,内置的交换机将高速网络(Infiniband等)、数据网络、管理网络、KVM网络集成在一起,只需要对刀片柜进行布线,刀片柜内部的计算刀片通过背板连接,无需布线。
根据计算,使用刀片式集群,可以节省85%以上的系统布线。
⏹可靠性提高
曙光刀片服务器采用无源背板进行系统互连,与传统的线缆连接方式相比,把可靠性提高到了一个数量级以上。
刀片系统采取模块化、冗余、热插拔设计,进一步提高了系统的可靠性。
⏹管理方便
曙光刀片服务器管理监控高度集成:
通过统一的监控界面,监控所有刀片资源,包括机箱电源、风扇、计算刀片、背板、交换机。
管理系统整合目前两大监控技术,即IPMI以及KVM(OverIP),真正实现监视控制一体化。
同时,为实现方便快捷的刀片服务器管理,通过优化的管理软硬件设计,改善可管理性,增强部署和可服务性,这些将降低总的所有权成本。
2.2.2IntelE5-2600处理器性能优势
2012年3月,IntelXeon处理器E5-2600发布,E5-2600处理器相比上代双路服务器Xeon5600系列处理器在处理器架构上进行了重大调整,从而带来最高达到77%的性能提升。
E5-2600相比上代5600处理器,在处理器核心数、流水线长度、内存带宽等多个方面都对做出了重大提升,所以导致了性能的巨大飞跃。
对于最能衡量高性能计算处理能力的speccpu2006fp性能,相比上一代处理器,最多高达77%的性能提升。
对于众多高性能计算应用,相比上代处理器,基本都超过50%以上的性能提升。
通过调整流水线的长度和增加CPU核心数,相比上代处理器,linpack性能最多超过100%的性能提升。
2.2.3GPGPU计算节点
系统共配置4台GPGPU节点,该GPGPU节点配置4块NVDIAC2075GPU卡,共提供单精度峰值16TFLOPS,双精度峰值8TFLOPS。
GPGPU计算是指利用图形卡来进行一般意义上的计算,而不是传统意义上的图形绘制。
时至今日,GPU已发展成为一种高度并行化、多线程、多核的处理器,具有杰出的计算功率和极高的存储器带宽,如图所示。
CPU和GPU的每秒浮点运算次数和存储器带宽
CPU和GPU之间浮点功能之所以存在这样的差异,原因就在于GPU专为计算密集型、高度并行化的计算而设计,上图显示的正是这种情况,因而,GPU的设计能使更多晶体管用于数据处理,而非数据缓存和流控制,如图所示。
GPU中的更多晶体管用于数据处理
目前,已经有非常多的高性能应用完成了在GPU系统上的移植。
2.3网络系统
本方案的网络系统的设计从性能和可靠两个原则出发,采用2套网络。
网络配置都考虑了扩展余量,以便系统扩充。
网络方案设计充分考虑到了计算节点、存储节点、网络交换机的性能参数,在保证了系统稳定的前提下,使每台设备都能得到最大限度的利用。
2.3.1千兆管理网络
配置1台高端千兆交换机,配合刀片机箱的管理模块,连成千兆管理网络。
该交换机1U高,48个千兆端口,实现系统中所有节点的联通。
千兆管理网络用于系统管理控制、系统监控、作业的递交、作业监控管理等方面的数据通讯。
2.3.2Infiniband高速网
系统配置2台36端口InfinibandFDR交换机,共同组成56GbpsFDR全线速网络。
单向56Gb的FDRInfiniband网络相比,相比上代单向40Gb的QDRInfiniband网络,性能得到了非常大的提升。
这得益于三方面:
1FDR网络传输性能的提高,传输性能从QDR的40Gb增加到FDR的56Gb。
2FDR网络编码效率的提升,编码效率从QDR的8/10提高到FDR的64/66。
3PCI-E3.0编码效率的提升,编码效率从PCI-E2.0的8/10提高到PCI-E3.0的128/130。
综合起来,QDR网络由于编码效率的影响,带宽仅能达到Bandwidth(QDR)=40Gbps*0.8*0.8/8=3.2GBps
而FDR的带宽可达到
Bandwidth(QDR)=56Gbps*(64/66)*(128/130)/8=6.6GBps
实际达到一倍以上的性能提升
对于网络密集型的高性能应用,FDR网络带来的性能提升也是非常明显,如下图所示的分子动力学应用NAMD,网络设备升级成FDR后,性能和扩展性都得到大幅提升。
2.4存储系统
2.4.1高性能集群存储的需求特点
高性能计算集群在多个节点进行大规模并行计算的同时,需要进行大量文件及数据访问,对于系统的存储性能也提出非常高的要求,系统对存储要求主要归结为以下几点。
⏹全局文件的统一印象;
高性能集群相比其它应用而言,一个显著的特点为保证参与计算的所有节点具有统一的文件印象,也就是说,在任何一个节点、对某一个文件的读写、修改都会在其它节点生效,实现这一个功能,往往需要通过网络文件系统来实现,较为传统的为nfs系统,当前,由于集群规模的增大和访问性能的要求逐渐提高,并行文件系统在中大规模的高性能集群中使用越来越广泛。
⏹全局文件的高速访问;
对于某些规模较大集群,或者某些高IO应用集群,由于对存储的访问量很大,对共享存储的访问性能也提出了较高要求。
通常,我们需要通过提高磁盘阵列的性能、存储介质的性能、磁盘阵列访问接口的性能和IO节点的网络性能来提高存储的访问性能。
对于更高IO需求的系统,可以通过并行存储系统来实现海量文件的并发读写。
⏹存储系统的大容量;
由于高性能集群的规模巨大、数据处理能力惊人,高性能集群集中存储的容量也往往非常惊人,动辄达到数十TB,在某些对海量存储需求的系统中,存储往往达到上百TB,甚至PB量级。
⏹存储系统的高可靠性;
高性能集群承担着重要的科研任务,用户的数据具有极高的价值,同时,存储为全局系统,一旦出现故障,将导致整个系统的不可用。
所以在存储系统中,无论IO节点、存储交换机、还是存储磁盘阵列,存储介质,每个环节都要尽可能的保证高可靠性和高可用性。
可以通过冗余电源、高级别raid、双机热备、数据备份等各种手段保证存储系统的高可靠性。
2.4.2Parastor200并行存储系统
系统配置曙光Parastor200并行存储系统,裸容量达到192TB,可用容量96T。
曙光parastor200并行存储系统采用多副本、全冗余技术,支持单一存储命名空间、支持容量海量扩展,性能线性扩展,能够满足高性能计算中心海量文件并发读写需求。
⏹Parastor200并行存储技术特点
1.集群化并行存储架构,数据分布存储,并发读写
2.容量、性能线性增长,资源配额和性能质量保证,统一调度分配存储空间
3.全局目录、单一系统映像,虚拟存储池,精简配置
4.资产生命周期管理、带宽分配管理、记账计费,存储空间租赁与管理
5.多企业、个人用户,多访问协议:
CTDB、CIFS、FTP、RESP、SOAP
6.多副本、全冗余架构,保证系统的可靠性与可用性
⏹Parastor200系统组成
1.管理控制器
-提供命令行和图形界面两种接口
-内嵌并行存储管理系统,对软硬件进行一体化监控管理
2.索引控制器
-管理存储系统中所有元数据和命名空间
-支持多副本,Active-Active运行方式
3.数据控制器
-提供数据存储空间,48TB裸容量
-支持多副本容错,自动处理磁盘失效
4.应用服务器
-向上应用提供数据访问接口
-支持多种Linux内核
⏹Parastor200体系架构
⏹Parastor200统一管理界面
2.4.3DBstor备份系统
系统配置DBstor备份系统20TB,保证系统关键数据的安全。
DBstor支持重复数据删除的SmartDisk技术,能有效备份数据的同时,大大节省存储空间。
曙光DBstor备份系统具有如下特点:
1)为关键数据提供高速、基于备份时间点的恢复
DBstor利用全线速的双千兆数据传输链路、高速磁盘控制器组并行接收/发送应用服务器的备份/恢复数据,保障数据备份/恢复的高效;
在备份时,DBstor锁定应用服务器特定时间点的数据影像,并对影像做数据一致性对比校验,保证备份集的绝对可用性,从而最终保证DBstor基于时间点恢复的可靠性
2)高速、高效、大容量的虚拟磁带库(VTL)功能
DBstor采用独特的磁盘介质管理方式,在文件系统之上创建虚拟磁带库(VTL),保证备份数据在逻辑上保持连续,避免频繁磁盘寻道带来的时间损耗,最大限度的利用磁盘组的并行读写能力,从而提高备份与恢复速度;
为充分利用DBstor的硬件性能,用户可以根据实际情况定义虚拟磁带库的控制器数据、槽位、容量等,为支持更多客户端并行的备份提供策略保障;
DBstor支持10TB和20TB两种VTL备份容量、满足绝大部分关键数据备份场合的空间需求
3)SmartDisk技术与重复数据删除技术的有机结合
DBstor支持VTL的同时,提供另外一种性价比更高的介质管理技术-SmartDisk,SmartDisk不等同于文件系统的磁盘管理技术,SmartDisk以网络服务的形式为DBstor提供磁盘存储空间,并带有高效的去重功能,可以实现高达数倍的存储空间压缩比;
这样既发挥磁盘存储的高性能和高可用,又充分利用了存储空间,可以大大节省客户的投资
4)备份策略的自动化管理
备份自动化:
用户可以根据自身的实际情况,定义自动执行的备份策略和日程表,备份策略一旦制定,就可以按照规定动作在无人职守的情况化,自动完成备份任务;
5)报表生成自动化
每天的备份任务执行情况,DBstor会自动形成报表,详细描述所有备份任务的招待情况,系统管理员可以选择合适的方式进行通知,比如经由Windows信使,SNMP,自动发送至管理人员的邮箱等
6)全面的Vmware集成
主机的虚拟化使用日益广泛,DBstor对典型的虚拟化环境Vmware提供了全方位的支持,用户既可以通过DBstor对应的client调用VCB来对虚拟机进行备份,也可以直接在虚拟机上对应用数据进行备份,给虚拟机的备份提供灵活的选择
7)配置管理易用性
统一用户图形管理界面;
数据库备份不需要编辑脚本,纯图形操作;
在做设备检测时,会自动发现和配置存储设备,并集中管理所有业务服务器进行全自动备份
8)完善的介质控制功能
当备份数据过期时,备份介质会自动回收以释放存储空间;
对全备份及增量备份会自动合并,以产生新的全备份,并可以按照策略对数据格式转换和加密
9)独特的备份管理方式
可以根据备份任务多少灵活配置驱动器数及磁带数,DBstor支持自动数据库数据导出并自动进行备份;
对备份介质和其中内容进行自动分组管理;
根据需要对所备
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 性能 计算 系统 设计方案 汇编
![提示](https://static.bdocx.com/images/bang_tan.gif)