X5 总体架构解析Word格式.docx

X5 总体架构解析Word格式.docx

《X5 总体架构解析Word格式.docx》由会员分享，可在线阅读，更多相关《X5 总体架构解析Word格式.docx（51页珍藏版）》请在冰豆网上搜索。

第三方厂商即使有，也很难见到PC领域的品牌。

比如在AMD平台上，除了AMD就是NVIDIA和Broadcom，但在AMD逐渐强势之后，后两个品牌可能最终会在AMD平台上消失。

而英特尔方面则基本上被英特尔自己所垄断。

这样一来，两大x86处理器厂商的平台也就基本趋于单一化，对于CPU厂商来说这可能是好事，但对于服务器厂商来说就意味着将面对着大量同质化的竞争，虽然可以在外围的配件与组件方面做出点新意，但平台的同质化也基本限定了你的“新意”范围。

不过，那些拥有强大技术根基的厂商并不甘心于这样的竞争，因此它们也开发了自己独有的平台技术，这其中，IBM的X架构平台就是典型的代表。

IBM的X架构平台的发展历程，到今天已经有10年的历史

X架构，确切的说是企业级X架构（EXA，EnterpriseXArchitecture）是IBM专门为英特尔至强至强处理器（XeonMP）而开发的服务器平台架构，IBM的EXA的每一代产品都具备了同时期英特尔原厂平台所不具备的能力，或者说IBM针对英特尔的平台方案中的不足所做出的补充。

比如在第一代的EXA产品x440服务器是首款具备16插槽扩展能力的产品，第二代产品x445则具备了8路的能力，最大可通过级联扩展至32路（当时的英特尔平台只支持到4路），另外还引入了内存热交换技术。

到了第三代，EXA平台加入了轮询过滤缓冲（SnoopFilter）的设计，大大降低了多路处理器间因要进行数据轮询所增加的延迟，提高了多路服务器的企业级应用性能，而这个设计两年后才在英特尔平台中出现。

而到了2007年，IBM推出了现在的EXA平台（即支持英特尔的至强7300/7400处理器），相对于英特尔同期的芯片组，在很多方面进行了优化，并且仍然提供了强大的扩展能力，将第一代的16插槽扩展（或者说是4机箱级联）的独有设计保留至今。

第五代X架构产品家族——eX5服务器全家福，从上至下分别是HX5刀片服务器，x3690X5（2U）和x3850X5/x3905X5（4U，x3950X5基本上与x3850X5相同，只是在配置上有所区别）机架服务器

2010年3月，英特尔又推出了自己的新一代至强MP处理器，这就是Nehalem-EX，即至强7500/6500（有关它们的详细介绍见本站的早前的专题），而与之对应的，IBM也就推出了第五代的X架构以及采用这一架构的eX5服务器，我们从X架构的历史中就能预感eX5的与众不同。

而今天，我们就将系统而深入的了解IBM的X5架构与eX5服务器。

虽然在3月份，我们曾经对X5架构与eX5服务器作过报道，但这次将更为细致全面！

进入正文之前，我们先看看这张图，可以看到IBMX架构总线的变革，它基本上都是与英特尔的总线技术相呼应，最新一代的eX5服务器基于英特尔的QPI总线架构，不过这只是一个基础，IBM也将在这一基础平台上展现自己独特的创新能力

X5架构创新之一：

MAX5内存扩展加速器

MAX5内存扩展加速器

可以说，IBM第五代X架构中最突出的亮点就是独特的MAX5加速器，而纵观X架构的发展史，我们也能发现其在内存上所做的文章是最多的。

这源于IBM对内存的一贯偏爱（比如上一代的X4架构）。

仔细回顾了服务器的发展历史，可以看到随着CPU的多核化，每核心所能分配到的内存容量并没有什么变化，而内存在绝大多数的应用中均处于关键地位，对性能影响重大，尤其是越来越普及的虚拟化应用，而IBM也由此入手，对Nehalem-EX平台进行最为明显的改造

MAX5加速器简介，它共有两种，一种是给机架式服务器x3850X5、x3690X5使用（上），下方中笔者称之为MAX5-R，一种是给刀片式服务器使用（下），下文中笔者称之为MAX5-B

MAX5加速器是X5架构中最具革命性的创新，充分利用了英特尔新一代的QPI总线的特性，以一种巧妙的方式为服务器平台扩展了内存。

这么说可能有些让人容易糊涂，我们可以先看看Nehalem-EX服务器的设计，再来看看MAX5又是如何为其提供额外的内存扩展能力的。

标准的4插槽Nehalem-EX服务器平台设计

在英特尔的给出的标准的4插槽Nehalem-EX服务器设计中，4颗Nehalem-EX处理器点对点全互联，每两颗处理器连接I/OHub（英特尔的代号为“Boxboro”芯片组），每颗处理器通过4颗可扩展内存缓冲芯片（SMB，ScalableMemoryBuffer）控制4路DDR3内存通道，每路DDR3内存最多支持4条DIMM，所以一颗CPU可配16条DIMM，4插槽时就是64条DIMM，这就是4插槽Nehalem-EX服务器的标准配置，而IBM的X5架构就是要打破这一限制。

IBM的Nehalem-EX服务器也仍然是使用英特尔的Boxboro芯片组与SMB来搭建，就服务器本身来讲是标准的Nehalem-EX服务器设计，在这其中并没有采用自己的芯片组，而在MAX5加速器上则采用了自己的芯片，IBM称之为eX5，我认为这是X5架构的最重要的精髓所在。

供X5机架式服务器3690X5和3850X5所使用的MAX5-R，其中EXA芯片即为IBM自己开发的eX5芯片（代号Firehawk），主板上有8颗SMB芯片，总扩展能力为32条DIMM，按每条8GB计算，合256GB，以目前DIMM的最大容量16GB计算，一个MAX5-R的最大内存容量达512GB

供X5刀片服务器HX5所使用的MAX5-B，红圈部分为IBM自己开发的eX5芯片，主板上的小块的银色散热片下面是SMB芯片，每颗负责4条DIMM，共6颗，所以刀片用MAX5的内存扩展能力最大为24条DIMM，按每条DIMM的容量8GB计算，为192GB，比现有的双插槽至强5600服务器还要多

机架式MAX5-R的结构，可以看出它留有QPI端口，在使用时，它通过外连专用的QPI电缆与服务器相连，由此就可以知道它如何为服务器扩展内存了吧

MAX5-R的eX5芯片与端口特写，可以看出有4路QPI（图中红圈处），而最上方的则是IBM自己开发的高速EXA端口，用于MAX5的级联，设计传输率为10GT/s（QPI是6.4GT/s），总的结点带宽为48GB/s

3850X5服务器与MAX5-R的连接示意图，与上面的那个标准的4插槽Nehalem-EX服务器的架构图相比较就可以看出其中的玄机了

这是MAX5-R的结构图，三个EXA总线负责未来的MAX5+服务器的级联，而QPI负责与主服务器连接，可以看出有8个SMB控制着8个内存通道

IBM的eX5芯片可以看做是一个QPI与内存控制器的桥接芯片，4个插槽的Nehalem-EX服务器中，每颗Nehalem-EX的处理器均出一路QPI通过QPI电缆与MAX5相连，所以MAX5与服务器相连的带宽就是4路QPI的带宽，按照6.4GT/s的传输率峰值计算，就是102.4GB/s。

但笔者认为，这是QPI双向的总带宽，单向带宽为51.2GB/s。

如何MAX5上的一个SMB也是代表一个内存通道的话，就意味着MAX5-B有6个内存通道，按Nehalem-EX标称的最高速率1066MHz来计算就是51.2GB/s左右，而对于MAX5-R，那就是8通道68.2GB/s，看样子4路QPI的单向通道将成为瓶颈，当然这只是笔者的猜测，而即使真的如此，内存容量往往也比内存速率更重要。

在具体的内存速率方面，MAX5的设计与英特尔的SMI及SMB规范相当，即与QPI总线速率挂钩，具体见下表。

IBM的eX5芯片在内部也为与其连接的CPU做好了互联准备，我们可以回过头来再看一下前面MAX5的介绍，可以发现它仍然具有SnoopFilter（侦听过滤器，或称轮询过滤缓冲，存储每个处理器最后一级缓存，如L3的缓存行地址，减少多处理器间做缓存数据查询所产生的延迟和不必要的轮询操作），只是不知道具体的容量（上一代eX4芯片中是384MB的容量），所以从这个意义讲eX5也可算一个具备内存扩展能力的节点控制器。

当主服务器与MAX5相连接后，MAX5上的内存有两种关联方式，一种是将内存分派给指定的CPU来访问，一种是将MAX5作为一个共享的内存池供整体系统使用，但默认的是第一种，因为一些主要的操作系统不支持这种共享内存池的工作模式（如Windows和VMware，Linux则可以），而这两种模式可在eX5服务器的UEFI（取代传统BIOS的管理设置程序与接口）中调整切换。

然而，要注意的是，MAX5内存扩展器目前还不能被虚拟化软件所采用，最新发布的VMwarevSphere4.1仍然没有支持MAX5，而CITRIX的XenServer与微软的Hyper-V目前也不支持MAX5，但IBM与VMware都已经明确表示将会让MAX5在虚拟化应用中大显身手，所以也请有意者留意最新的动态。

有人可能会问，HX5是双插槽的刀片，又是如何提供4路QPI与MAX5-B连接的呢？

在此先卖个关子，在下文介绍HX5刀片时再说，而由MAX5设计所带来的另一个重要特性——级联扩展。

IBM所新推出的三款eX5服务器都可以通过级联成倍的扩展插槽数量，就像X4时代的3950M2一样。

当然，这个能力并不是由MAX5所带来的，可是由于MAX5的设计，所以预留了外连EAX的端口，这同样也就为级联扩展做好了准备，这一点将在下文做进一步的介绍。

X5架构创新之二：

高性能eXFlash固态盘系统

服务器技术与性能正在迅速的发展与提高，而这其中主要的推动力，毫无疑问就是CPU，许多周边设备的技术发展与进步是与CPU密切相关的，比如内存、网络I/O以及存储设备等。

而在当前，处理器的多核化已经不可阻挡，这又将给周边的数据设备带来新的挑战。

由于处理器内核的增加，也必将加剧对服务器资源的争夺，这里包括了内存容量、内存带宽、网络带宽以及存储I/O带宽等等。

现在去衡量一个采用多核处理器的服务器的基本能力时，一个基本的指标就是每核所分配的到资源，如果资源不够，每个核心的性能也将不能充分的发挥。

而且，随着服务器虚拟化的不断普及，在单台服务器上承载多个应用虚拟机已经趋于常态，而这种显而易见的多任务的压力也就分摊在相应的I/O设备上了。

为此，厂商在不断的给内存增加通道数量，提高内存的传输率，网络I/O也从Mbps向10Gbps级迈进，这些基本都是可以通过电子电路设计的改进来实现，因此慢慢的，人们就感觉到最终的性能瓶颈开始向存储集中，即传统的硬盘（或称磁盘）系统。

硬盘（全称硬盘驱动器，HDD——HardDiskDrive）已经有了很悠久的历史了，最早可以追溯到50多年前，所以发展至今已经千锤百炼，在技术上已经相当的成熟，伴随着垂直磁记录等技术的普及与发展，硬盘现在容量已经发展到TB的级别，每GB的成本不过几毛钱，这在当前的服务器系统中的优势无可比拟，但是由于硬盘的原理性限制，它的劣势在CPU性能突飞猛进的今天也就越发明显。

我们知道硬盘的存储是基于旋转的磁盘，在工作时有一个磁头臂带着磁头在旋转的磁盘上做径向的寻址，然后再读写数据，这里就存在着较大的访问延迟。

由于磁头在开始读写数据前要先找到相应的磁道，再找到相应的扇区，所以其平均寻址时间由平均寻道时间+平均潜伏期得来，以当