ARM架构服务器Word格式.docx
- 文档编号:19442988
- 上传时间:2023-01-06
- 格式:DOCX
- 页数:11
- 大小:517.81KB
ARM架构服务器Word格式.docx
《ARM架构服务器Word格式.docx》由会员分享,可在线阅读,更多相关《ARM架构服务器Word格式.docx(11页珍藏版)》请在冰豆网上搜索。
XXARM云存储支持纯x86/ARM,或两者混布
ChinaByte比特网:
关于XX的ARM云存储节点,是否方便透露使用了来自哪家的处理器?
系统来自哪个ODM?
以我的了解,华为UDS对象存储(云存储)也使用了ARM,在存储节点上每颗ARM(应该是单核)对应一个硬盘,而管理(元数据)节点仍然是x86。
我看到XX也是每个ARM核心对应一个硬盘,因此想了解下整套系统的组成,是否也需要x86的管理节点搭配使用?
ARM在这里是什么样的角色(承担着哪些处理工作)?
XX:
我们与ARM、Marvell等业界领导者共同设计开发了这款ARM云存储服务器,并拥有相关专利。
完整的系统架构不方便透露。
可以明确的是,我们的这套系统可以支持纯X86,或者纯ARM,或者两者混布。
点评:
我想这个答复还算简单清楚,下面再看看实物照片:
XX的ARM云存储服务器,采用在2U机架中6个节点的机箱设计
上图下方为抽出的一个ARM节点,在外形尺寸上接近刀片服务器。
我们可以看到4块希捷的3.5英寸硬盘,在右边红圈中的区域,2个带有散热片的芯片中应该有一个是来自Marvell的4核心ARM,附近斜插着一条ECC内存。
而放在机箱上的那个模块则是从机箱后部抽出来,在它两边是一对冗余电源模块。
除了风扇排之外,这里大一点红圈中的3颗芯片应该是用于计算节点与对外万兆以太网(10GbE)接口之间的交换单元,右下方那个小芯片看上去像是ASPEED的图形和远程管理(BMC)处理器。
可以看出,该2U系统有一块“中板”,负责内部通信和供电连接。
至本文截稿之时,笔者又看到了XX云首席架构师林仕鼎在HPCA大会上的演讲资料——《Application-DrivenDatacenterComputing》。
上图中提到了12HDD/U的密度,也就是2U24块硬盘;
另外内置网络交换模块也符合我们在上面的判断。
接下来讨论下Facebook的存储设计。
开放计算项目:
30、15(45)盘位2USASJBOD
上图来自OpenComputeProject(开放计算项目)的OpenVaultStorageHardwarev0.7规格文档,作者自然是Facebook的人了。
这里的OpenVault存储实际上不包含服务器(主机)部分,只是一个JBOD硬盘扩展柜。
关于x86和ARM在Facebook的应用我们会在后面谈及。
在2U的机箱里,上下容纳有2个像这样抽出硬盘“托盘(tray)”,那一共就是30个3.5英寸驱动器。
WD4TB企业级黑盘(单节点裸容量可达120TB)在该文档的多个照片中出现(如果换作我是西部数据的市场人员,把这些盘白送给Facebook也蛮值得的)。
从横向并排可以放5块硬盘这一点,可以确定OpenRack机柜不是标准的19英寸(682.5mm)宽度。
如下图,它的宽度为538mm。
这张图机架尺寸图来自OpenComputeProject的OpenRackHardwarev1.0文档
至于硬盘与外界的I/O部分,主要是由前面那块绿色的SAS扩展板(SEB)来实现,上面关键的芯片和一般的JBOD都是用的SASExpander。
Facebook关键不同的一点是:
在机箱前后气流进出的位置,居然不像传统服务器/存储那样安装塑料防尘面板。
正如我们的判断,有知情者表示,他们是在整个数据中心机房的进风口来做防尘处理。
因此如果有人想直接完全照搬OpenComputeProject的设计,需要考虑一下。
拿来做参考,或者在其基础上改动当然是可以的。
OpenVaultStorage单元后视图
从使用的台达风扇等情况来看,这款有可能来自广达的Facebook存储机箱,用料和做工还是不错的。
OpenVault系统结构图
这张图,有的读者可能在网上看到过。
这里我们想简单交待一下逻辑关系。
2U机箱中的两个硬盘抽屉,各自通过DrivePlaneBoard来连接15块硬盘。
这些SAS盘的双端口分别可以连接到A和B两块SAS扩展板(以实现连接路径的高可用,默认是每个tray一个SEB)。
对于LSIExpanderSAS2x28扩展器芯片来说,除了15个lane用于硬盘,还设计了一个外部mini-SASx4连接器向上与主机端通信,以及两个内部mini-SASx4连接器向下级联OpenVault(也可以是接下来要讲到的另一种JBOD?
)。
定制系统的一大好处是,多余用不上的东西可以基本上去掉。
没有前面板的开放机箱,自然也就可以在一个机柜的节点之间使用SFF-8087内部SAS线缆。
这时我又想起了一个问题:
“工作人员进出这样的Facebook机房,在着装上是否要放尘不好说,但没准要穿防辐射服。
因为传统服务器/PC面板内侧的金属片是起到EMC电磁保护作用的。
这张示意图来自OpenComputeProject的TorpedoDesignConceptStorageServerforOpenRackHardwarev0.3文档,尽管叫做“存储服务器”,其实也是一种JBOD。
TorpedoDesignConcept(存储单元)的设计可以说比前面的OpenVault更加简单,空间效率更高。
在2U的机架空间内应该可以容纳3个这样的单元,每个里面安装15块3.5英寸硬盘(一共就是45个驱动器)。
作为JBOD,它的核心也是SAS扩展器,这里使用了一块标准PCIe尺寸的IntelExpanderRES2SV240。
IntelExpanderRES2SV24024端口6Gb/sSAS扩展卡
RES2SV240使用的芯片是LSISAS2x24,我们道SAS扩展器芯片并不需要PCIe信号连接,因此下方的金手指只用于+12V供电,与上方的大4pin电源接头选择一个使用即可。
6个SFF-8087mini-SASx4连接器中有4个用于连接硬盘,另外2个作为上行或者下行连接(initiatorortarget)均可。
TorpedoDesignConceptStorageServerforOpenRack除了比OpenVault单位空间内的存储密度更大之外,还有一个重要的不同——就是不具备控制单元(SAS扩展器)的冗余连接,由于这个单点故障,也不太适合通过它再向下级联其它JBOD了。
为什么写到这里还没有涉及ARM和x86?
因为在Facebook的“冷数据存储”(ColdStorage)应用中,前面2种JBOD存储扩展柜最初应该都是配合x86服务器节点来工作的,而ARM则是像XX那样的计算/存储一体化设计——这就是后面一页要谈的内容。
ARM服务器板:
将JBOD变为存储服务器
这张照片来自开放计算项目的ARMServerMotherboardDesignforOpenVaultChassisHardwarev0.3文档,其实就是上文中的OpenVaultStorage机箱,只不过SAS扩展板的PCB颜色由绿色变成了红色。
这在广达的产品中有专门的含义,当然它不是我们要讨论的重点,基于ARM的服务器主板在这里的作用是:
替换机箱中的红色SAS扩展版,将OpenVaultJBOD转变为一台存储服务器。
也就是说,上一页中的存储密度计算,是无法直接和XX比较的,因为只包含硬盘而没有CPU。
基于CalxedaECX-1000SoC的ARM服务器板结构图
Facebook使用的ARMCPU是来自Calxeda的ECX-1000SoC。
它连接了4GBDDR3ECC内存,提供4个以太网接口,和5个SATA硬盘接口,后者通过Multiplier(倍增器)将每个SATA接口1转3,这样就满足了连接OpenVault机箱一个tray上硬盘的需求。
CalxedaEnergyCoreARMSoC结构图
上图供大家参考,其中除了4核心的ARMCortex处理器之外,我们想重点说的是右边的EnergyCoreFabricSwitch模块,它能够提供最多5个10GbE(万兆以太网)或者最多6个千兆接口。
当然受限于处理能力和该芯片的定位,5个万兆可能达不到全线速,在Calxeda推荐的针对均衡系统的优化I/O中,使用了3个带有DMA的10GbpsXAUI以太网界面。
Facebook也提供了4种不同的网络选项:
双1GbE、4个CX4、4个QSFP和4个SFP+。
CPU当中集成的只有MAC而没有PHY(物理层),其中双1GbE选项是ECX1000提供SGMII界面到2个1GbpsPHY;
而每个QSFP在这里只提供一个10GbE连接(通过QSFP+提供的40GbE在这个接口中不被支持)。
带有4个CX4接口的ARM服务器板,提供最低成本的10GbE网络接口,只是在线缆和连接距离上比较受限。
带有4个SFP+接口的ARM服务器板,提高成本来增加在物理介质类型和线缆方面更多的灵活性,需要10GbEPHY芯片转换XAUI到XFI界面来驱动插入的SFP+模块。
上图所示的主板上使用了2颗VitesseVSC8488双端口以太网收发器。
SFP+接口可以支持DAC直连铜缆,或者通过安装光纤模块来连接光纤线缆。
XX宣称自主研发的万兆交换机,与服务器的连接采用的就是DAC线缆,这是目前在短距离内(不超过10米)比较成熟且相对廉价的一种万兆连接方式。
至于RJ-45接口的10GBase-T,主流网络厂商的交换机最近这段时间才纷纷推出,再加上功耗方面的问题,尽管被许多人看好但普及尚需时日。
如果说XX和Facebook是在(存储)服务器中使用ARM的话,华为UDS也是将ARM用于存储系统,只是后者的硬件定制化程度更高。
最后一页我们再对它们进行一下总结比较。
对比华为UDS对象存储、XX云存储,以及Facebook在OpenVault中使用ARM服务器板,从宏观上看都是将硬盘转接到以太网。
这样说可能有些不够严谨,因为每家的产品都有自己的特点:
三种不同的系统,XX目前只是用于自己的数据中心;
Facebook通过开放计算项目共享了他们的硬件设计;
而华为UDS则是一款相对通用的对象存储系统。
华为UDS:
“每台2U高度的存储节点机箱包含上、下2个刀片,每个1U刀片里有8块硬盘,它们分别对应8个ARM芯片。
也就是说一个刀片实际上就是8个所谓的SoD(自组织硬盘)。
刀片对外通过万兆以太网交换机与接入节点相连,内部估计也有个交换单元将带宽分配到自组织硬盘。
华为UDS对象存储系统在1U刀片内,使用了8个单核ARM分别“驱动”8块硬盘,对外提供以太网接口。
单台2U机箱中有16块硬盘
“每个ARM芯片只负责一块硬盘的数据接口以及元数据处理,而UDS的接入节点(网关)使用了华为的Intelx86CPU服务器。
华为UDS存储节点的密度为2U16盘位。
(以下都是我们当前了解到的信息,本文中提到的均为3.5英寸硬盘驱动器)
XX云存储:
根据XX的说法,“这套系统可以支持纯X86,或者纯ARM,或者两者混布”,那么在纯ARM的配置下,假设是完全对等的节点,每个CPU核心应该要承担比华为UDS更多的任务,包括维护(对象)文件系统之类的。
XX云存储的密度为2U24盘位。
Facebook开放计算项目:
按照本文中谈到的设计,OpenVault冷存储可以用4核ARM来“驱动”15块硬盘,并可选实现4个万兆网口的“豪华配置”。
当然此时的CPU处理能力和4GB内存容量是根据应用特点“量力而行”的,因此Facebook并没有说这种ARM服务器板,能够完全替代在JBOD外面连接(x86)服务器?
开放计算项目OpenVault的密度为2U30盘位,TorpedoDesignConceptJBOD应该可达2U45盘位(3个并排放置的话)。
最后,我再简单总结一下:
本文从存储、服务器一直谈到网络,如果说x86胜在软件生态系统的话,ARM则有着丰富的硬件生态环境。
比如说像CalxedaECX-1000这样的SoC,其提供的4-5个万兆以太网MAC,就是目前包括Xeon在内的x86处理器所不具备的,而不仅仅是Atom。
不同特点的ARM定制方案,能够有针对性地在一些应用中发挥最大的效率。
笔者班门弄斧地写了这些,难免可能会有疏漏之处,欢迎大家提出意见和建议,并希望能够抛砖引玉。
其实在我们的采访中,还有关于XX万兆以太网交换机的话题,不过与本文主题相距较远,有兴趣的读者可以再找机会交流。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ARM 架构 服务器
![提示](https://static.bdocx.com/images/bang_tan.gif)