高性能计算系统技术方案建议书.docx
- 文档编号:4630230
- 上传时间:2022-12-07
- 格式:DOCX
- 页数:36
- 大小:729.24KB
高性能计算系统技术方案建议书.docx
《高性能计算系统技术方案建议书.docx》由会员分享,可在线阅读,更多相关《高性能计算系统技术方案建议书.docx(36页珍藏版)》请在冰豆网上搜索。
高性能计算系统技术方案建议书
×××
高性能计算系统
技术方案建议书
中国惠普有限公司
2005.6
第一章概述
HP公司非常荣幸能为×××高性能计算中心系统建设提出建议。
作为全球最大的计算机厂商之一,HP公司具有一流的产品、技术和服务。
在本方案建议书中,HP公司推荐了先进的系统建设方案,考虑了系统的实用性、高可用性、安全性、可管理性以及灵活扩展能力。
HP公司凭借先进的技术和出色的支持服务,相信通过双方的合作,可使×××高性能计算中心系统项目顺利实施,从而为用户提供一个健壮、安全、高可用的运行环境,并进一步建立长期的友好合作关系。
高性能计算系统是提高一个科研机构研究水平的重要基础设施,也是一个国家科技与经济实力的标志。
它不仅是一个高速处理的计算机系统、更重要的是在其之上运行的各种应用对科学领域产生非常深远的影响。
20世纪90年代中后期以来,许多高性能计算应用领域越来越多地希望利用半导体和计算机技术发展的新成果通过更大规模、更精确的数值模拟和数字计算来进行新产品设计和科学研究,提高科学研究水平、厂商市场竞争力以至国家的综合国力。
另一方面,人们也要求利用工业标准芯片等开放性的技术降低投资、加速开发,在规定经费预算和时间框架内完成规模越来越大的计算任务。
高性能和高经济效益相结合已经成为高性能计算领域最引人注目的发展趋势。
1.1高性能计算环境发展的趋势
1.1.1更高、更全面的性能要求
高性能技术计算是利用数值模拟和数字技术方法探索和预测未知世界的技术。
这一技术广泛应用于核武器研究和核材料储存仿真、生物信息技术、医疗和新药研究、计算化学、GIS、CAE、全球性长期气象、天气和灾害预报、工艺过程改进和环境保护等许多领域。
近年来,随着研究的深入和竞争的加剧,各个领域越来越多地使用模拟的方法来解决科研和生产中的实际问题。
模拟的模型越来越大、计算的精度越来越高、对超级计算机性能要求也越来越高。
例如,在一个3维模型中,如果把从每个方向取100个分点增加取到1000个分点,对计算机资源的需求将增加1000倍以上。
高性能计算应用不仅规模越来越大,而且往往必须在规定的时间内完成任务否则就失去了计算的价值(如天气预报、传染病防治)。
这就对计算机系统的计算能力、系统带宽、内存容量、存储设备和I/O吞吐能力以及应用软件的开发技术都提出了更高、更全面的要求。
1.1.2向通用化方向发展
过去人们一般把计算机应用分为科学计算、信息处理和自动控制等类型。
其中,以信息处理为主的应用统称企业应用,是市场容量最大的应用领域。
早期的企业应用与高性能计算应用有很大的差别,涉及的计算比较简单、使用的数据量也不大,对计算机系统的主要要求是能够支持大量用户(包括网上用户)进行事务处理如信息输入、查询和统计等,而对于计算能力、存储容量要求也不高。
因此,高性能计算应用往往使用与企业应用不同的系统,影响了产品批量的扩大。
当前,人类正在从工业化社会进入信息社会,技术的持续创新、市场需求的瞬息万变、竞争空间的迅速扩大,要求企业采用Internet、电子商务、电子商务企业等现代化手段,来适应时代的发展。
许多新型的企业应用对计算能力、存储容量和系统带宽的要求都越来越高、越来越迫切,高性能计算应用和其他类型应用的界限也日益淡化。
当前,几乎所有应用领域都需要使用能够提供高计算能力、系统带宽和存储容量的计算机系统,促使用户选择相同的系统满足各种类型的需求,为利用大批量、低成本的通用产品满足高性能计算应用需求创造了有利的条件。
1.1.3更加严格的预算约束
随着竞争的加剧和应用的普及,高性能计算不再是一个不惜工本的应用领域,许多项目的预算约束越来越严格。
这就要求厂商生产全系列的产品满足不同规模应用的需求、更加可靠地保护用户原有投资、加速IT投资回报,而且也要求实现资源按需供应和更大范围的资源共享,推动了网格和公用服务等新的计算模式的发展。
1.1.4使用商品化部件
为了促进高性能计算广泛应用必须降低成本,否则很难为更多的用户所接受。
由于高端的高性能计算系统(特别是超级计算机)需要使用许多计算节点和互联设备等部件,因此必须保持每个部件的低成本。
早期的超级计算机系统使用专门定制的处理器和互联设备等部件价格非常昂贵。
以后,CrayResearch公司的T3D和CRAYT3E开始使用商品化的Alpha处理器。
当前商品化处理器和服务器性能日益提高、价格也日趋下降,为利用它们建立高端和超级计算机系统提供了良好的基础。
为此,美国政府还推出了ASCI计划,力图降低超级计算机系统的成本,其主要途径是尽可能采用商品化市售(COTS)硬件和软件部件,把力量集中在发展主流计算机工业不能有效地提供的专门技术。
目前已经很少再有厂商使用专门的部件如向量处理器来建立超级计算机系统。
今后的发展趋势是在高端和超级计算机系统中尽可能普遍地采用商品化和大批量的工业标准部件,包括处理器、互联设备、I/O、存储、操作系统、语言、编译程序、编程工具和应用软件。
人们注意到,基于开放性IA-32体系结构的Xeon和Pentium4处理器的超级计算机已经在TOP500占有重要地位。
新兴的Itanium处理器系列(IPF)必将以其开放性、大批量和64位寻址和处理能力,对超级计算机水平的提高产生划时代的影响,以远比32位体系结构时代高的性能和性价比来满足日益增长的需求。
我们深信,通过采用HP的高性能计算系统,必将加速×××在高性能计算领域取得更加丰硕的科研成果。
1.2高性能计算应用的特点
在传统意义上高性能计算应用是属于CPU和内存密集型的应用,它对所运行的计算机体系结构(超级计算机体系结构)提出了几个主要的要求:
浮点计算能力(尤其是64位双精度浮点运算),内存带宽和内存容量及体系框架。
所有这些因素都是相互关联的。
高性能计算通常利用各种数学方程式来建立模型和模拟物理现象。
随着各种模型越来越大,越来越复杂,数据集的规模也急剧增长。
例如,一个100*100*100的栅格包含100万个元素,该模型仅占用32MB内存,如果此栅格的分辨率提高10倍,这一模型就变为1000*1000*1000,包含10亿个元素,此模型的原始数据将占用32GB的内存!
因此不论是分布式内存还是共享式内存,要将此数据传输至内存中,由CPU处理,就需要高带宽,高容量,低延迟的体系结构,当然还需要强大的CPU进行计算。
而超级计算机主要用来处理这样庞大的工作负载。
这样的负载所要求的超级计算机一定是采用快速的CPU,高性能的内存和I/O子系统,旨在实现最高的运算速度。
同样这样的负载所要求的超级计算机还必须采用多级别并行处理技术,能够利用几十个甚至几千个处理器来处理一项任务;这样的并行处理技术也需要超级计算机要采用高性能的互连设备和系统设计,以较高的成本去换取最高的性能。
1.3高性能计算主机性能评价体系
衡量主机系统或处理器计算处理能力的测试体系(BenchMark)也有多种,如SPEC、Linpack等,尤其是通过Linpack值更可以衡量一个主机系统或一个处理器芯片的实际运算能力,而不仅仅是虚的理论峰值能力。
过去,人们使用系统能够达到的执行指令最大速率如每秒执行百万指令数/浮点操作数(MIPS/MFLOPS)来量度计算机硬件性能。
但是,这些量度指标的实用价值十分有限,它们只能给出理论上最大的性能,并没有全面反映计算机系统的实际性能如内存带宽、内存延迟和I/O性能等。
此外,硬件性能量度和系统体系结构都是非标准的,使得人们很难使用它们作为服务器选型的性能指标。
因此,出现了计算机系统性能基准测试的概念,即由某些中立的非盈利机构开发出一组经过精心统筹设计和组合的程序,来量度计算机系统运行这组程序的性能指标。
此类程序一般称为基准测试程序。
不同的计算机系统都运行同一组基准测试程序,就可以相对客观地比较计算机系统的性能。
目前有许多专门设计基准测试程序和管理各种计算机系统基准测试指标的机构,其中最著名的是SPEC和TPC。
基准测试可以分为三类:
1)系统基准测试指标:
用于测试计算机各子系统的性能,其中主要有:
⏹SPECCPU2000用于处理器子系统的指标;
⏹McCaplinStream用于测试内存带宽指标;
⏹TPC-C用于测试在线事务处理指标性能指标;
2)标准应用基准测试指标:
用于测试计算机系统执行某种标准的应用的性能指标,其中主要有:
⏹SPECWEB99用于测量计算机执行Web应用的性能指标;
⏹SPECMAIL2000用于测量计算机执行电子邮件应用的性能指标;
⏹SPECJBB2000,SPECJVM98用于测量计算机执行JAVA应用性能指标;
⏹Linpack用于测量计算机进行线性代数计算的性能指标(也常作为测量计算机浮点计算速度的基准测试指标);
⏹SPECHPC96用于测量计算机执行高性能计算应用的性能指标;
⏹SPECSFS97用于测量计算机执行网络文件系统应用的性能指标;
⏹TPC-D专门用于测量计算机执行数据仓库应用的性能指标;
⏹SPECglperf和SPECviewperf专门用于测量计算机执行图形和图象显示方面应用的性能指标;
3)实际应用基准测试指标:
许多重要的独立软件开发商(ISV)都制订了计算机系统运行本公司开发的软件产品的基准测试指标。
例如,在数据库应用方面Oracle、Informix、Sybase公司的基准测试指标;在企业应用方面SAP、SAS、PeopleSoft、Baan等公司的基准测试指标;在高性能计算方面运行Amber、CHARMm、Fluent、LS-DYNA、MARC、ANSYS等著名应用软件的指标等;
一般地说,系统基准测试指标测试的计算机子系统的性能,而其他两类基准测试指标则主要测试计算机执行某种或某个特殊应用的性能。
基准测试指标在用户服务器选型工作中具有重要的作用,许多用户都根据它们来决定设备选型。
但是“全信书不如无书”。
对基准测试必须持一分为二的观点。
一方面,虽然基准测试的环境和用户的实际应用环境不完全相同,但是它们毕竟比较客观地反映了计算机系统某一方面的性能,对性能评估和搞好服务器选型工作都有相当大的参考价值;另一方面,任何基准测试指标都是在人为设定的特殊条件下得到的。
虽然,设计基准测试的机构尽了很大的努力使得基准测试条件尽可能符合实际、具有代表性,但真实的应用环境规模大、软件类型多其组合更是千变万化。
基准测试的条件不可能完全反映实际应用的复杂性,基准测试指标不可避免地具有某种片面性。
因此,在进行设备选型时必须尽可能了解所使用的各项基准测试指标的实际含义,包含产生它们的环境和测试方法等。
为了避免片面性,对服务器系统的性能指标、特性和厂商进行全面考察,将是搞好服务器选型工作比较科学和可靠的方法。
第二章设计方案
2.1系统设计原则
帮助用户建立一套既能最大限度地满足用户实际需要且技术又处于领先地位的高性能计算环境是HP公司为高性能计算用户设计方案的基本出发点。
HP认为,×××高性能计算系统应具有处理大规模的复杂运算,尤其是浮点运算的能力。
它将为×××提供优化工程设计、分析、验证的手段,最终实现提高设计质量、缩短开发周期、降低开发成本。
方案设计以用户现场测试结果为基础,根据用户对未来应用模式及业务量需求预测为前提,强调高性能以及可行、合理和低风险。
架构设计和系统选型遵循以下原则:
1.先进性
本系统方案所采用的技术既要符合业界的发展方向,又要在未来几年内仍具有很高的技术先进性,保持在同类系统中的领先地位。
这样有利于提高整个系统的计算与处理能力。
2.有限投资获取最大计算性能
在有限的投资前提下,高性能计算系统应具有优秀的处理能力,它不仅具有符合要求的峰值性能(PeakPerformance),更重要的是应具有稳定的应用性能(sustainedperformance)。
各种复杂的研究课题在本系统中能够得到准确,快速的计算结果。
3.可扩展性
系统应具有很强的扩展能力。
随着对计算机系统性能的要求不断提高,该计算机系统应具有扩展能力,并且容易实现。
4.开放性和兼容性
本计算机系统应符合公认的工业标准,包括体系结构,硬件,I/O,网络,操作系统,开发环境和开发工具等。
这样,便于和其他平台上的系统互操作。
5.应用软件丰富
本系统的平台上应具有丰富的软件资源,能够提供研究课题的解决方案和相应的软件系统。
HP公司与高性能计算方面的独立软件开发商紧密合作,例如:
Fluent,ANSYS等专业工程软件商,RedHat,Etnus,Pallas,Platform等专业平台软件商,不仅提供处理节点间的协调和通信的中间件,使整个系统节点能够真正实现合作,负载均衡,还能针对不同应用需求,提供一系列并行计算应用。
6.良好的技术支持
由于本系统是比较复杂的计算机环境,在使用过程中不可避免的会遇到一些技术问题。
当遇到这些问题时能够得到有效的支持,使问题得以圆满的解决。
7.性能价格比优越
由于本系统比较庞大,价格因素也比较重要。
本系统在性能价格比方面在同类系统中应具有明显的优势,对于三院三部来说在采购大型系统中应该考虑的重要因素。
8.管理简单
尽量减少数据中心的设备管理难度。
2.2总体方案结构
针对×××系统高性能计算应用的特点,结合与相关业务处室的沟通。
从满足应用需求的角度出发,我们建议建立一个高可扩展、易管理的混合SMP与Cluster结构的高性能计算环境,整体方案架构如下:
我们推荐采用1台HP高档UNIX服务器HPIntegrityrx8620作为SMP计算服务器,主要运行Ansys、Nastran、Marc计算应用。
SMP计算服务器采用高性能HP-UX11iTCOE高性能计算操作系统环境,并运行HPWorkLoadManager(WLM)动态资源管理工具对任务的资源分配进行管理和调度。
另外,采用64节点、通过Infiniband高速互连的Linux高性能计算集群(128颗CPU,512G内存),主要运行Fluent、Fastran或LS-Dyna计算应用。
高性能计算集群配置1个管理节点及2个I/O节点,并通过用户网络和管理网络进行互联。
Cluster管理节点运行ClusterManagementUtility(CMU)管理软件实现Cluster中所有节点的集中管理、配置、激活/关闭等,并通过OpenPBS软件对用户提交的任务进行作业管理。
SMP计算服务器和Cluster管理节点通过1000Base-T千兆以太网连接到三部的骨干网中,各室工作组通过该网络申请计算资源和提交任务。
待三院三部存储区域网络(SAN)建成后,SMP计算服务器和ClusterI/O节点可通过扩展的光纤通道卡连接到SAN中,满足高性能计算环境对存储性能和空间的巨大需求。
2.3SMP计算服务器方案
2.3.1CPU内存配置数量计算
根据以上分析,SMP计算服务器主要用于结构类计算任务,包括结构的设计、分析和仿真等。
SMP服务器的选型应与用户现场测试服务器具有相同的结构和相同的产品系列机型,即采用基于Itanium2芯片的HPIntegrity(安腾)服务器系列产品,并根据未来几年内三院三部的计算需求配置适当的型号和CPU内存数量。
从测试结果上看,ANSYS类应用对系统资源和开销是最大的,而用户使用ANSYS来进行部件和系统设计也是最多的,因此按此类应用的峰值性能需求来计算出系统的配置,当然还应根据任务的并发情况来适当调整。
根据用户计算需求的预测,该SMP计算服务器应至少达到以下性能:
1)同时运行5-6个ANSYS系统级任务(每个600万单元),计算时间不超过12小时(夜间运行);
2)部件级ANSYS任务(每个200万单元)的计算时间在1-2小时内(白天运行);
用户目前此类应用用户有5人,按未来10人来规划。
白天考虑4-5个部件级的并发。
计算依据上述要求和实测数据:
⏹ANSYS实际测试结果:
1个7万单元任务,4个1.3GHzCPU,8GBRAM,运行时间:
2分15秒;
⏹本次选择1.5GHz的芯片,性能比测试机配置芯片性能高;
⏹ANSYS提供标准题的计算要求:
600万单元的任务,要求20GB内存;
系统级并发任务对CPU数目要求如下:
6任务*(600万/7万)*(1.3GHz/1.5GHz)*(2分钟/720分钟)*4CPU=4.95CPU
结论:
对于在12小时内完成6个系统级任务,按每个任务分配1个CPU,共需6个1.5GHzCPU即可实现。
如果每个系统级任务分配2个CPU,共占用12颗CPU,只需不到6个小时即可完成计算。
部件级并发任务对CPU数目要求如下:
5任务*(200万/7万)*(1.3GHz/1.5GHz)*(2分钟/90分钟)*4CPU=11CPU
按每个任务分配2-3个CPU,共需11个1.5GHzCPU。
结论:
对于在1.5小时内完成5个系统级任务,共需11个1.5GHzCPU即可实现。
整个系统配置CPU数目如下:
按照白天在1.5个小时内完成5个并发部件级任务和晚上并发6个系统级人物的最大要求,考虑其他应用如Nastran、Marc、LS-Dyna任务的并发计算要求,建议本次SMP系统的CPU配置总数为12个。
系统对内存的要求如下:
我们以ANSYS应用对内存的要求作为估算标准。
1700万单元ANSYS标准题的内存要求约为60GB。
对于本系统来说,系统最大负荷时的并发任务量总计最大为6x600万单元,因此,我们建议本次SMP系统内存配置为128GB。
2.3.2SMP计算服务器型号及配置
根据以上分析,我们配置16CPU和128GB内存的HPIntegrityrx8620安腾服务器作为SMP计算服务器,并安装在2米高机柜内。
HPIntegrityrx8620具有51.2GB/s系统带宽、64GB/s内存带宽和8.5GB/s的I/O总线带宽,非常适合做高性能计算服务器,并最多可支持32个CPU及扩展至256GB内存。
HPIntegrityrx8620如下图所示:
除了满足上述用户的计算要求外,配置16CPU和128GB内存的rx8620计算服务器还可胜任超过单任务3000万以上单元的系统部件的计算,并在4-12小时内得到计算结果。
HPIntegrityrx8620计算服务器的配置如下:
服务器型号
HPIntegrityrx8620-32
处理器
12*Itanium21.5GHz/4MB
内存
128GBHDSyncDRAM内存
硬盘
4*146GB硬盘
网络接口(内置)
1*10/100/1000Base-T,接用户网络
1*10/100/1000Base-T,接管理网络
扩展网卡
1*10/100/1000Base-T,接所骨干网
DVD-ROM
1*DVD+RW
机柜
1*RackSystem/E41U,PDU
电源风扇
N+1热拔插电源风扇
软件配置
-HP-UX11iv2TCOE操作系统(无限用户许可)
-HPWorkLoadManager(WLM)动态资源管理器
-HPMirrorDisk/UX磁盘镜像软件
-C/C++/Fortran编译器
配置的HPIntegrityrx8620还有13个可扩展的PCI-X插槽,未来可配置2块FiberChannel2Gb适配器分别连接至SAN(存储区域网络)上,以获得高性能的数据访问及所需的及可扩展的存储空间。
HPIntegrityrx8620最多可扩展32个PCI-X插槽,满足I/O扩展的需要。
2.3.3基于EPIC的安腾芯片技术
针对高性能计算应用对高性能的需求,HP在系统设计上允许通过使用不断更新的IPF系列产品、采用先进的芯片组、使用更高性能的基础节点、支持更多的节点和提供更高的带宽等多种途径扩展系统的规模,提供高性能和最大的性能扩展空间,满足当前和为适应当前飞速发展的计算需要,一个高性能计算的全新时代应运而生,而HP正是以其基于第二代Itanium2处理器的安腾服务器执业界之牛耳。
未来各种高端应用的需要。
具有革命意义的安腾处理器家族架构由HP与Intel共同研制开发,它基于全新的EPIC体系结构,降低了平台的成本,提高了其性能和可扩展性.基于Itanium2的HP系统的速度比上一代产品快两倍,轻松超越IA-32和基于标准RSIC的系统的性能.基于Itanium2的惠普服务器能够提供更强大的功能,更多的应用,附加的特性,以及更广泛的解决方案。
IA-64体系结构在吸收RISC体系结构经验教训基础上另辟蹊径,一开始就走开放性的道路,充分利用现代芯片制造工艺发展成果、提供足够的资源;同时,通过力争成为新的高端工业标准、扩大批量来降低成本。
它的基本设计思想是:
提供一种新的机制、充分利用硬软件协同能力来提高指令并行度:
一方面大力开发先进的编译程序,消除程序中的条件转移指令、并基于猜测机制越过转移和存储指令界限调度指令的执行次序,把程序员利用串行语义编写的源程序转换成由可并行执行指令段序列组成的目标程序;另一方面使得处理器具有足够资源和智能,来纪录编译程序所发现的程序中可并行执行指令段之间的划分信息,并保证在程序运行过程中发现猜测和调度有错时仍然给出正确结果。
对IA-64体系结构处理器来说,所执行的目标程序中可并行执行的指令段已经由编译程序显性地标识出来了、指令间的数据相关性和过程相关性也已经由编译程序消除了,使得处理器只需使用相对简单的逻辑来实现很高的指令级并行度(ILP)。
相反,传统的RISC处理器没有足够的资源来纪录编译程序所产生许多有用的信息,也没有充分利用现代编译程序强大的对程序执行过程的调度能力。
虽然在RISC体系结构下,设计师们也使用编译程序来优化目标程序、为处理器提高ILP创造条件。
但是,处理器所执行的基本上是隐性并行和包含大量相关性的目标程序,发现并行、线路预测、动态调度等提高ILP的无序执行技术、完全是由处理器硬件利用复杂的芯片逻辑来实现的。
尽管两种体系结构之间存在着许多差别,但是执行显性并行或者隐性并行目标程序是其中最主要的本质差别。
所以最初发明这种新体系结构的惠普公司把它称为显性并行指令计算(EPIC)体系结构。
除了强有力的编译程序外,IA-64体系结构微处理器必须提供足够的资源来实现EPIC设计思想、提高并行度和实现高性能,包括:
新颖的指令集:
允许编译程序产生由并行指令段组成的目标程序,并纪录指令段间的划分;
大寄存器空间:
为编译程序通过寄存器换名等技术消除相关性、产生尽可能在寄存器中进行运算的优质目标程序提供充分的余地;
具有足够长度的指令:
便于在指令中访问大寄存器空间中多个寄存器和消除程序中转移指令;
足够的指令发送端口和派送网络:
用于提高每个时钟周期发送到指令数和提高发送到速度和效率;
多种类型的新型寄存器:
允许编译程序越过条件转移和存储指令的界限调度目标程序中访问内存指令的位置、消除相关性,并弥补调整位置所产生的错误;
更多的浮点执行部件:
有利于处理器实现高并行度的浮点计算;
更多的整数和多媒体运算执行部件:
有利于处理器实现高并行度的整数和多媒体信息处理;
更多的芯片上高速缓存:
有利于提高缓存命中率、降低内存延迟;
EPIC体系结构处理器提供的寄存器资源
IA-64的EPIC体系结构是对传统RISC体系结构的重大革新,许多方面突破了RISC体系结构的局限、发展了RISC体系结构,为利用新制造工艺和技术、按照摩尔定律预示的速度提高处理器性能提供了可靠的保证。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 性能 计算 系统 技术 方案 建议书