天河一号互连网络中FCSwitch及其路由算法共12页.docx
- 文档编号:3868884
- 上传时间:2022-11-26
- 格式:DOCX
- 页数:7
- 大小:20.35KB
天河一号互连网络中FCSwitch及其路由算法共12页.docx
《天河一号互连网络中FCSwitch及其路由算法共12页.docx》由会员分享,可在线阅读,更多相关《天河一号互连网络中FCSwitch及其路由算法共12页.docx(7页珍藏版)》请在冰豆网上搜索。
天河一号互连网络中FCSwitch及其路由算法共12页
“天河一号”互连网络中FC―Switch及其路由算法
ResearchonFC-SwitchandItsRoutingAlgorithm
inTH-1AInterconnectNetwork
CAOJi-jun,WANGKe-fei,LIULu,ZHANGLei
(CollegeofComputer,NationalUnivofDefenseTechnology,Changsha,Hunan410073,China)
Abstract:
ThispaperproposedFC-Switch,whichisanovacombinedswitch,defineditsswitch-levelconnectionpatternandprimarilyanalyzeditsperformance.Moreover,fourroutingalgorithmsfortheFC-Switchwerediscussed,andtheexperimentsonTH-1Anetworktestingplatformwascarriedout.ExperimentsresultshowsthattheFC-Switchcanachieveagoodperformancebycorrectlychoosingswitch-levelconnectionpatternandtheroutingalgorithm.
互连网络是高性能计算机系统的重要部件,互连网络的性能直接决定着高性能计算系统的整体性能.高带宽和低延迟一直是互连网络设计者追求的主要目标.高性能计算机系统的互连网络可以采用标准互连和专用互连,Top500[1]中最高端的计算系统偏向于采用专用互连网络,即通过定制设计突破通信瓶颈以获得更高的计算性能,这种技术选择特点将在未来面向艾级计算(Exaflops,每秒1018次浮点运算)的高性能计算系统设计中得到延续.
Kim和Dally[2-3]的研究结果表明,在大规模高性能互连网络中,使用高阶交换(HighRadixSwitch)技术将减小网络直径和报文传输跳步数,从而可获得更低的报文传输延迟;此外,由于高阶交换网络使用更少的交换芯片和互连链路,所以网络成本和功耗将显著降低.然而,设计高阶交换芯片面临着多方面的挑战――首先,随着交换芯片端口数的
增加,硬件逻辑设计变得越来越复杂,单芯片的功耗也越来越高.其次,对于多种可选的交换结构而言,芯片实现所需要的缓冲区大小和仲裁调度逻辑复杂度等都随着芯片端口数的增长而呈现平方增长.再者,根据ITRS[4]预测,未来10年单芯片封装的引脚容量将增长缓慢,这将使得交换芯片的端口数增长受到ASCI工艺技术的限制.
因此,将现有的低阶交换(LowRadixSwitch)芯片组合成为高阶交换模块,是实现高阶交换网络的另外一种可选的解决方案.这种方案可超越当前ASCI工艺技术的限制并大大缩短高阶交换网络(使用高阶交换芯片或高阶交换模块的互连网络)的设计和制造时间.在学术界,瓦伦西亚理工大学的Duato教授对组合交换器及其交换级连接模式(Switch-levelConnectionPattern,SCP)展开了具有开创性和代表性的研究[5-7].在实际构建的系统中,由国防科学技术大学研制的“天河一号”(TH-1A)高性能计算机中的高速互连网络采用特定组合交换器及其交换级连接模式,从而突破了通信瓶颈,为系统实测试性能位居2010年下半年TOP500榜首做出了重要贡献.
1C-Switch简介
定义1C-Switch[6]也称为组合交换器(CombinedSwitch),它由多个小互连交换器(InternalSwitch,内部交换器)构成.C-Switch向外提供的交换端口是各个内部交换器内部互连后剩余的端口.
上述定义仅仅指出了由内部小交换器构造C-Switch的基本原理,并没有给出C-Switch内部交换器的数量及它们之间的交换级连接模式.实际上,合理选择内部交换器的数量、交换级连接模式和路由算法需做多方面的权衡(tradeoff),如下所述.
1)交换延迟(SwitchDelay):
为了获得较低的内部延迟,需要实现所有内部交换器的全连接.然而,随着内部交换器数目的增加,内部交换器之间的路由将占用大量端口.若内部交换器之间不采用全连接方式,则C-Switch的内部平均延迟将变大,而且可能会出现延迟不均匀的情况.
2)交换带宽(SwitchBandwidth):
由多个内部交换器构成C-Switch时,需要合理选择内部交换器之间的交换级连接模式,并合理分配外部端口和内部端口的比例,从而使得带宽均衡,避免内部路径出现带宽瓶颈以影响C-Switch的总体通信性能. 3)组合代价(CombinedCost):
假设C-Switch的所有内部交换器端口总数为P,而且C-Switch的内部端口总数为W,则比值W/P一定程度上反映了从多个低阶的单芯片交换器构成一个高阶的多芯片交换器C-Switch的代价.为了降低代价,需要将内部交换器更高比例的端口设计为C-Switch的外部端口.
根据系统设计追求的目标不同,构建C-Switch可以采用不同的交换级连接模式.例如,为了追求较低的组合代价,相关研究者提出了一种特殊的C-Switch――T-Switch.
定义2T-Switch[6]也称为双子组合交换器(TwinSwitch),它是由两个同构的内部交换器构成的组合交换器.T-Switch向外提供的交换端口是这两个内部交换器内部互连后剩余的端口.
T-Switch由两个内部小交换器构成.如何合理设计两个内部交换器的交换级连接模式并选择连接两个内部交换器的内部端口?
对于该问题,Duato教授及其研究团队已做了深入研究,见文献[5-7].
T-Switch的组合代价比较低,但是其带宽性能较差.实际上,许多高性能计算系统互连网络设计都以高带宽低延迟为追求目标.为此,本文提出一种新型的组合交换器――FC-Switch,并针对FC-Switch的交换级连接模式提出了4种路由算法.基于“天河一号(TH-1A)”互连网络测试平台,对本文提出的4种路由算法的性能进行了对比测试.
2FC-Switch研究与分析
本节将从交换级连接模式、特性分析和路由算法等3个方面对FC-Switch进行深入的研究.
2.1交换级连接模式
定义3FC-Switch也称为全互连交换器(FullConnectedSwitch),它是由偶数个同构的内部交换器构成的组合交换器,每个内部交换器使用一半数量的端口进行内部互连,另外一半的剩余端口向外提供交换端口.
上述定义简单地给出了FC-Switch的基本构造方法,关于FC-Switch的交换级连接模式的更严格描述见定义4.
定义4FC-Switch由n(n为偶数)个内部交换器组成,第i个内部交换器标记为NRi(0≤i≤n-1).NRi所处位置分为第0级和第1级,其中NR0,NR1,…,NRn/2-1为第0级内部交换器,而NRn/2,NRn/2+1,…,NRn-1为第1级内部交换器.每个内部交换器包含m(m为偶数)个双向端口.内部交换器NRi的第k个端口标记为(NRi)k,其中k∈{0,1,…,m-1}.处于不同级的任意内部交换器NRi和NRj一定有端口相连,假定NRi和NRj分别为第0级和第1级内部交换器,则NRi提供第(m/2),(m/2)+1,…,m-1为内部互连端口,NRj提供第0,1,…,(m/2)-1为内部互连端口,而且连接的端口对数目为(m/2)/(n/2).处于同一级的任意内部交换器NRi′和NRj′一定没有端口相连.
注意,由于影响FC-Switch带宽和延迟的因素为各个内部交换器之间端口连接数目,各个端口性能相同,而具体连接哪个端口并不重要,所以定义4明确了任意内部交换器NRi和NRj端口是否互连以及连接数目,但是并没有明确定义具体由哪些端口对间实现互连,这是合理的.
定理1由端口数目为m(m为偶数)的内部交换器构建FC-Switch的最小阶数为2m,而且构建这种FC-Switch共需要4个内部交换器.
实际上,对于两个端口数为m的内部交换器而言,每个将m/2个端口彼此相连,其余共m个端口成为外部端口,这种连接方式虽然符合FC-Switch的交换级连接模式(定义4),但是与单交换器相比,这种连接模式并没有增加外部端口数,反而增加了交换延迟,实际中并不会出现这种FC-Switch.因此,构成FC-Switch的最小内部交换器数目为4,而每个NR的m/2个端口组合成为外部端口,该FC-Switch共有m/2×4=2m个外部端口.
定理2由端口数目为m(m为偶数)的内部交换器构建FC-Switch的最大阶数为m2/2,而且构建这种FC-Switch共需要m个内部交换器.
为了获得最大阶数的FC-Switch,任意NRi与和它处于不同级的每个NRj都有且仅有1对端口相连.所以该FC-Switch共有2×m/2=m个内部交换器,每个NR的m/2个端口组合成为外部端口,故该FC-Switch共有m2/2个外部端口.
例如,图1,图2和图3分别是由4个、8个和16个16端口的内部交换器构成的FC-Switch,它们分别向外提供32×32,64×64和128×128的交换能力.其中,32外部端口和128端口的FC-Switch分别是由16端口内部交换器构成的最低阶数和最高阶数的FC-Switch组合交换器.
2.2特性分析
结论1假设FC-Switch由n(n为偶数)个内部交换器组成,每个内部交换器包含m(m为偶数)个端口,则FC-Switch的外部端口数(阶数)和内部端口数均为(n×m)/2.
根据FC-Switch的定义,其每个内部交换器的一半端口用来内部互连,另一半端口成为外部端口,而FC-Switch的内部交换器共有n×m个端口,所以其外部端口数(阶数)和内部端口数均为(n×m)/2.
结论2FC-Switch的组合代价为50%,阶数增加因子(RadixIncrementFactor,RIF)为100%.
文献[5]用阶数增加因子(RadixIncrementFactor,RIF)反映特定交换级连接模式的扩展性能,RIF定义为用作FC-Switch外部端口数占内部交换器总端口数的比值.由结论1可知,结论2成立. 2.3路由算法
这样一来,FC-Switch成为构建大规模高速互连网络系统的基本单元.在构建大规模互连网络系统时,我们考虑FC-Switch的如下应用场景,即将FC-Switch的处于同一级的所有外部端口连接计算节点,而将FC-Switch的处于另外一级的所有外部端口通过光纤或电缆连接交换机,以实现网络的系统级扩展.因此,在研究FC-Switch的路由算法时,我们只能考虑FC-Switch连接计算节点间通信的路由算法.为了获得较高的性能,路由算法设计的基本原则包括:
1)最短路径原则,即保证网络路径延迟最小;2)流量均衡原则,即保证网络带宽得到充分的利用.
显然,要保证FC-Switch中计算节点间网络路径延迟最小,则连接在FC-Switch的同一内部交换器的节点间直接交换,其网络跳步数为1,而连接在FC-Switch的不同内部交换器上的节点需要借助第二级内部交换器的中转,其网络跳步数为3.
网络流量均衡是针对特定流量模式而言的.通常意义的网络流量均衡是以均匀流量模式(UniformDataflowPattern)为假定条件的,即所有计算节点间的通信概率是相等的.FC-Switch采用确定性路由(DeterministicRouting),可以依据目的节点或源节点的节点号分配流量,以达到均衡流量的目的.
设计FC-Switch路由算法时分配流量可以根据源节点或目的节点号,而分配流量的时机可以是第0级交换器出口或第1级交换器入口.因此,FC-Switch的路由算法可以分为4种,见表1.
为了方便起见,假定计算节点表示为cnx,其中x为计算节点的编号.假定cn[x-y](x0的端口0-7输入到FC-Switch,然后根据源节点号不同分别从NR0的端口8-f均匀输出到FC-Switch的第1级内部交换器.从每个第1级内部交换器中选择到NR3的输出端口时,仍然根据源节点号从两条可选路径中均匀选择.从NR3到cn28时从确定的端口输出即可.
2.3.2Dest-0Out-Routing路由算法
路由分两种情况:
1)如果NRi=NRj,从cnx直接路由(Hop=1)到cny.2)如果NRi≠NRj,从cnx需要3跳路由到cny――①根据cny编号,从NRi的m/2个可选端口中选择1个作为输出端口,从而到达NRk;②根据cny编号,从NRk的m/n个可选端口中选择1个作为输出端口,从而到达NRj;③直接路由到cny.
图5给出了Dest-0Out-Routing路由算法的示例.在图示64×64的FC-Switch中,从cn3到cn[24-31]的流量以带箭头粗线条给出3输出的流量从NR0的端口3输入到FC-Switch,然后根据目的节点号不同分别从NR0的端口8-f输出到FC-Switch的第1级内部交换器.从每个第1级内部交换器中选择到NR3的输出端口时,仍然根据目的节点号从两条可选路径中均匀选择.从NR3到cn[24-31]时从确定的端口输出即可.
2.3.3Src-1In-Routing路由算法
路由分两种情况:
1)如果NRi=NRj,从cnx直接路由(Hop=1)到cny.2)如果NRi≠NRj,从cnx需要3跳路由到cny――①根据cnx编号,从到达NRk的m/n个可选端口中选择1个作为输出端口,从而到达NRk;②根据cnx编号,从NRk的m/n个可选端口中选择1个作为输出端口,从而到达NRj;③直接路由到cny.
图6给出了Src-1In-Routing路由算法的示例.在图示64×64的FC-Switch中,从cn[0-7]到cn28的流量以带箭头粗线条给出[0-7]输出的流量分别从NR0的端口0-7输入到FC-Switch,由于cn[0-7]对应的第1级内部交换器为NR4,所以根据源节点号不同分别从NR0的端口9和B输出到FC-Switch的第1级内部交换器NR4.从NR4内部交换器中选择到NR3的输出端口时,仍然根据源节点号从两条路径中均匀选择.从NR3到cn28时从确定的端口输出即可.
2.3.4Dest-1In-Routing路由算法
路由分两种情况:
1)如果NRi=NRj,从cnx直接路由(Hop=1)到cny.2)如果NRi≠NRj,从cnx需要3跳路由到cny――①根据cny编号,从到达NRk的m/n个可选端口中选择1个作为输出端口,从而到达NRk;②根据cny编号,从NRk的m/n个可选端口中选择1个作为输出端口,从而到达NRj;③直接路由到cny. 图7给出了Dest-1In-Routing路由算法的示例.在图示64×64的FC-Switch中,从cn3到cn[24-31]的流量以带箭头粗线条给出3输出的流量从NR0的端口3输入到FC-Switch,由于cn[24-31]对应的第1级内部交换器为NR7,所以根据目的节点号不同从NR0的端口C和E输出到FC-Switch的第1级内部交换器NR7.从NR7内部交换器中选择到NR3的输出端口时,仍然根据目的节点不同从两条路径中均匀选择.从NR3到cn[24-31]时从确定的端口输出即可.
可见,各种算法在处理同一内部交换器所连接的计算节点间流量时,都采用相同的直接路由策略(Hop=1).各种算法的差异主要体现在连接于不同内部交换器上计算节点间的路由策略――*-0Out-Routing和*-1In-Routing路由算法分别从第0级内部交换器的输出端口和第1级内部交换器输入端口进行路径选择;Src-*-Routing和Dest-*-Routing路由算法分别根据源节点编号和目的节点编号选择路径(此处*表示通配符).
3性能测试与分析
实际上,图1和图2所示FC-Switch的两种交换级连接模式在“天河一号”(TH-1A)互连网络[8]中都得到了实际应用.“天河一号”高性能计算系统互连网络的交换芯片采用90nm工艺制造,其端口数目为16,每个端口绑定了8条高速SERDES通道(HighSpeedSERDES,HSS),所以端口双向数据传输带宽达到160Gbps,单芯片总吞吐率达到2.56Tbps.
为了比较FC-Switch组合交换器中上述4种路由算法的性能,我们选择64×64的FC-Switch作为实验平台.在实验中,我们将W-Switch的32个端口连接32个终端节点,每个终端节点包含两个12核的Intel处理器(Intel(R)Xeon(R)CPUE5-2692V2@2.20GHz).节点网卡使用PCIE2.0接口8通道(Lane)并行数据传输.网络性能测试使用IMB-MPI测试测序(Intel(R)MPIBenchmarkSuitV3.2.4).
3.1单向链路覆盖率分析
首先,我们分析4种路由算法的单向链路覆盖情况,因为路由的单向链路覆盖情况反映了负载的均衡性.
定义5单向链路覆盖率:
任意计算节点间通信所经过的内部单向链路总和占全部单向链路的比率.
定理3假设FC-Switch由n(n为偶数)个内部交换器组成,每个内部交换器包含m(m为偶数)个端口,则Src-0Out-Routing和Dest-0Out-Routing路由算法的链路覆盖率为1,Src-1In-Routing和Dest-1In-Routing路由算法的链路覆盖率为3/4+1/(2n).
FC-Switch第0级内部交换器所连接的节点间的路由路径不经过第1级内部交换器的外部端口,所以在统计FC-Switch中路由算法单向链路覆盖率时,将其排除在外.各种路由算法对各种链路的覆盖情况通过过程见表2.
可见,以64×64的FC-Switch为例,*-0Out-Routing路由算法的单向链路覆盖率为1,而*-1In-Routing路由算法的单向链路覆盖率为81.25%.
3.2带宽及延迟性能测试
利用IMB-MPI测试程序对上述4种路由算法的性能进行测试.测试过程中,IMB-MPI程序对长度小于65536字节数据的测试次数为1000次,长度为65536,524288,4194304字节数据的测试次数分别为640,80和10次.为了尽量降低测试环境微观变化对测试结果的影响,每次更换节点的路由表时都在线进行(无需重启计算节点或网卡).测试结果如图8所示.
可见,*-0Out-Routing的两种路由算法的性能相当,*-1In-Routing两种路由算法的性能也相当.与采用*-1In-Routing路由算法相比,采用*-0Out-Routing路由算法时FC-Switch可以获得更优的带宽和延迟性能.同时可见,各种路由算法性能的实际对比测试结果与3.1节对各种路由算法单向链路覆盖率的理论分析结果一致,即:
若算法的链路覆盖率较高,则其实测性能较优.
4结论
本文提出了一种新型的组合交换器FC-Switch,详细描述了FC-Switch的交换级连接模式,初步分析了FC-Switch的性能.基于FC-Switch交换级连接模式,进一步深入研究了FC-Switch的4种路由算法(Src-0Out-Routing,Src-1In-Routing,Dest-0Out-Routing,Dest-1In-Routing),并在“天河一号”(TH-1A)实际网络测试平台上,对这4种路由算法的性能进行了对比测试.研究结果表明,通过合理选择交换级互连模式及路由算法(*-0Out-Routing),FC-Switch可获得高带宽低延迟的优良性能.
希望以上资料对你有所帮助,附励志名言3条:
1、生命对某些人来说是美丽的,这些人的一生都为某个目标而奋斗。
2、推销产品要针对顾客的心,不要针对顾客的头。
3、不同的信念,决定不同的命运。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 天河 一号 互连 网络 FCSwitch 及其 路由 算法 12
![提示](https://static.bdocx.com/images/bang_tan.gif)