第章--多处理机.ppt
- 文档编号:2123336
- 上传时间:2022-10-27
- 格式:PPT
- 页数:156
- 大小:1.46MB
第章--多处理机.ppt
《第章--多处理机.ppt》由会员分享,可在线阅读,更多相关《第章--多处理机.ppt(156页珍藏版)》请在冰豆网上搜索。
11/156/156第10章多处理机22/156/15610.1引言10.2对称式共享存储器系统结构10.3分布式共享存储器系统结构10.4同步10.5同时多线程10.6大规模并行处理机MPP10.7多处理机实例1:
T110.8多处理机实例2:
Origin20001.单处理机系统结构正在走向尽头?
2.多处理机正起着越来越重要的作用。
近几年来,人们确实开始转向了多处理机。
Intel于2004年宣布放弃了其高性能单处理器项目,转向多核(multi-core)的研究和开发。
IBM、SUN、AMD等公司并行计算机应用软件已有了稳定的发展。
充分利用商品化微处理器所具有的高性能价格比的优势。
3.本章重点:
中小规模的计算机(处理器的个数32)(多处理机设计的主流)10.1引言44/156/15610.1引言1.Flynn分类法SISD、SIMD、MISD、MIMD2.MIMD已成为通用多处理机系统结构的选择,原因:
MIMD具有灵活性;MIMD可以充分利用商品化微处理器在性能价格比方面的优势。
计算机机群系统(计算机机群系统(clustercluster)是一类广泛被采用)是一类广泛被采用的的MIMDMIMD机器。
机器。
10.1.1并行计算机系统结构的分类55/156/15610.1引言3.根据存储器的组织结构,把现有的MIMD机器分为两类:
(每一类代表了一种存储器的结构和互连策略)(每一类代表了一种存储器的结构和互连策略)集中式共享存储器结构q最多由几十个处理器构成。
最多由几十个处理器构成。
q各处理器共享一个集中式的物理存储器。
各处理器共享一个集中式的物理存储器。
这类机器有时被称为这类机器有时被称为qSMPSMP机器机器(Symmetricshared-memoryMultiProcessorSymmetricshared-memoryMultiProcessor)qUMAUMA机器机器(UniformMemoryAccessUniformMemoryAccess)66/156/15610.1引言对称式共享存储器多处理机的基本结构对称式共享存储器多处理机的基本结构77/156/15610.1引言分布式存储器多处理机q存储器在物理上是分布的。
存储器在物理上是分布的。
q每个结点包含:
每个结点包含:
n处理器处理器n存储器存储器nIIOOn互连网络接口互连网络接口q在许多情况下,分布式存储器结构在许多情况下,分布式存储器结构优于优于集中式共享存集中式共享存储器结构。
储器结构。
88/156/15610.1引言99/156/15610.1引言q将存储器分布到各结点有两个将存储器分布到各结点有两个优点优点n如果大多数的访问是针对本结点的局部存储器,则如果大多数的访问是针对本结点的局部存储器,则可降低对存储器和互连网络的带宽要求;可降低对存储器和互连网络的带宽要求;n对本地存储器的访问延迟时间小。
对本地存储器的访问延迟时间小。
q最主要的最主要的缺点缺点n处理器之间的通信较为复杂,且各处理器之间访问处理器之间的通信较为复杂,且各处理器之间访问延迟较大。
延迟较大。
q簇:
簇:
超级结点超级结点n每个结点内包含个数较少(例如每个结点内包含个数较少(例如2288)的处理器;)的处理器;n处理器之间可采用另一种互连技术(例如总线)相处理器之间可采用另一种互连技术(例如总线)相互连接形成簇。
互连接形成簇。
1010/156/15610.1引言1.两种存储器系统结构和通信机制共享地址空间q物理上分离的所有存储器作为一个统一的共享逻辑物理上分离的所有存储器作为一个统一的共享逻辑空间进行编址。
空间进行编址。
q任何一个处理器可以访问该共享空间中的任何一个任何一个处理器可以访问该共享空间中的任何一个单元(如果它具有访问权),而且不同处理器上的单元(如果它具有访问权),而且不同处理器上的同一个物理地址指向的是同一个存储单元。
同一个物理地址指向的是同一个存储单元。
q这类计算机被称为这类计算机被称为分布式共享存储器系统分布式共享存储器系统(DSMDSM:
DistributedShared-Memory):
DistributedShared-Memory)NUMANUMA机器机器(NUMANUMA:
Non-UniformMemoryAccess):
Non-UniformMemoryAccess)10.1.2存储器系统结构和通信机制1111/156/15610.1引言把每个结点中的存储器编址为一个独立的地址空间,不同结点中的地址空间之间是相互独立的。
q整个系统的地址空间由多个独立的地址空间构成整个系统的地址空间由多个独立的地址空间构成q每个结点中的存储器只能由本地的处理器进行访问,每个结点中的存储器只能由本地的处理器进行访问,远程的处理器不能直接对其进行访问。
远程的处理器不能直接对其进行访问。
q每一个每一个处理器处理器-存储器存储器模块实际上是一台单独的计算机模块实际上是一台单独的计算机q现在的这种机器多以集群的形式存在现在的这种机器多以集群的形式存在2.通信机制共享存储器通信机制q共享地址空间的计算机系统采用共享地址空间的计算机系统采用1212/156/15610.1引言q处理器之间是通过用处理器之间是通过用load和和store指令对相同存储器地指令对相同存储器地址进行读址进行读/写操作来实现的。
写操作来实现的。
消息传递通信机制q多个独立地址空间的计算机采用多个独立地址空间的计算机采用q通过处理器间显式地传递消息来完成通过处理器间显式地传递消息来完成q消息传递多处理机消息传递多处理机中,处理器之间是通过发送消息来中,处理器之间是通过发送消息来进行通信的,这些消息请求进行某些操作或者传送数进行通信的,这些消息请求进行某些操作或者传送数据。
据。
1313/156/15610.1引言例如:
例如:
一个处理器要对远程存储器上的数据进行访问或操作:
一个处理器要对远程存储器上的数据进行访问或操作:
n发送消息,请求传递数据或对数据进行操作;发送消息,请求传递数据或对数据进行操作;远程进程调用远程进程调用(RPC(RPC,RemoteProcessCall)RemoteProcessCall)n目的处理器接收到消息以后,执行相应的操作或代替目的处理器接收到消息以后,执行相应的操作或代替远程处理器进行访问,并发送一个应答消息将结果返远程处理器进行访问,并发送一个应答消息将结果返回。
回。
q同步消息传递同步消息传递请求处理器发送一个消息后一直要等到应答结果才继续运行。
请求处理器发送一个消息后一直要等到应答结果才继续运行。
q异步消息传递异步消息传递数据发送方知道别的处理器需要数据,通信也可以从数数据发送方知道别的处理器需要数据,通信也可以从数据发送方来开始,数据可以不经请求就直接送往数据接受方。
据发送方来开始,数据可以不经请求就直接送往数据接受方。
1414/156/15610.1引言3.不同通信机制的优点共享存储器通信的主要优点q与常用的对称式多处理机使用的通信机制兼容。
与常用的对称式多处理机使用的通信机制兼容。
q易于编程,同时在简化编译器设计方面也占有优势。
易于编程,同时在简化编译器设计方面也占有优势。
q采用大家所熟悉的共享存储器模型开发应用程序,而采用大家所熟悉的共享存储器模型开发应用程序,而把重点放到解决对性能影响较大的数据访问上。
把重点放到解决对性能影响较大的数据访问上。
q当通信数据量较小时,通信开销较低,带宽利用较好。
当通信数据量较小时,通信开销较低,带宽利用较好。
q可以通过采用可以通过采用Cache技术来减少远程通信的频度技术来减少远程通信的频度,减少,减少了通信延迟以及对共享数据的访问冲突。
了通信延迟以及对共享数据的访问冲突。
1515/156/15610.1引言消息传递通信机制的主要优点q硬件较简单。
硬件较简单。
q通信是显式的,因此更容易搞清楚何时发生通信以及通通信是显式的,因此更容易搞清楚何时发生通信以及通信开销是多少。
信开销是多少。
q显式通信可以让编程者重点注意并行计算的主要通信开显式通信可以让编程者重点注意并行计算的主要通信开销,使之有可能开发出结构更好、性能更高的并行程序。
销,使之有可能开发出结构更好、性能更高的并行程序。
q同步很自然地与发送消息相关联,能减少不当的同步带同步很自然地与发送消息相关联,能减少不当的同步带来错误的可能性。
来错误的可能性。
1616/156/15610.1引言可在支持上面任何一种通信机制的硬件模型上建立所需的通信模式平台。
q在共享存储器上支持消息传递相对简单。
在共享存储器上支持消息传递相对简单。
q在消息传递的硬件上支持共享存储器就困难得多。
在消息传递的硬件上支持共享存储器就困难得多。
所有对共享存储器的访问均要求操作系统提供地址所有对共享存储器的访问均要求操作系统提供地址转换和存储保护功能,即将存储器访问转换为消息转换和存储保护功能,即将存储器访问转换为消息的发送和接收。
的发送和接收。
1717/156/15610.1引言并行处理面临着两个重要的挑战程序中的并行性有限相对较大的通信开销10.1.3并行处理面临的挑战系统加速比系统加速比=1818/156/15610.1引言1.第一个挑战有限的并行性使计算机要达到很高的加速比十分困难。
例例10.110.1假设想用假设想用100100个处理器达到个处理器达到8080的加速比,求原计算程的加速比,求原计算程序中串行部分最多可占多大的比例?
序中串行部分最多可占多大的比例?
解解AmdahlAmdahl定律为:
定律为:
由上式可得:
由上式可得:
并行比例并行比例0.99750.99751919/156/15610.1引言2.第二个挑战:
多处理机中远程访问的延迟较大在现有的机器中,处理器之间的数据通信大约需要501000个时钟周期。
主要取决于:
通信机制、互连网络的种类和机器的规模通信机制、互连网络的种类和机器的规模在几种不同的共享存储器并行计算机中远程访问一个字的典型延迟2020/156/15610.1引言机器通信机制互连网络处理机最大数量典型远程存储器访问时间(ns)SunStarfireSunStarfireserversserversSMPSMP多总线多总线6464500500SGIOrigin3000SGIOrigin3000NUMANUMA胖超立方体胖超立方体512512500500CrayT3ECrayT3ENUMANUMA33维环网维环网20482048300300HPVseriesHPVseriesSMPSMP8888交叉开关交叉开关323210001000HPAlphaServerGSHPAlphaServerGSSMPSMP开关总线开关总线32324004002121/156/15610.1引言例例10.210.2假设有一台假设有一台3232台处理器的多处理机,对远程存储器台处理器的多处理机,对远程存储器访问时间为访问时间为200ns200ns。
除了通信以外,假设所有其它访问均命中局。
除了通信以外,假设所有其它访问均命中局部存储器。
当发出一个远程请求时,本处理器挂起。
处理器的时部存储器。
当发出一个远程请求时,本处理器挂起。
处理器的时钟频率为钟频率为2GHz2GHz,如果指令基本的,如果指令基本的CPICPI为为0.50.5(设所有访存均命中(设所有访存均命中CacheCache),求在没有远程访问的情况下和有),求在没有远程访问的情况下和有0.2%0.2%的指令需要远程的指令需要远程访问的情况下,前者比后者快多少访问的情况下,前者比后者快多少?
2222/156/15610.1引言解解有有0.2%0.2%远程访问的机器的实际远程访问的机器的实际CPICPI为:
为:
C
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 处理机
![提示](https://static.bdocx.com/images/bang_tan.gif)