基于数据中心的海量存储系统设计方案.docx

基于数据中心的海量存储系统设计方案.docx

《基于数据中心的海量存储系统设计方案.docx》由会员分享，可在线阅读，更多相关《基于数据中心的海量存储系统设计方案.docx（21页珍藏版）》请在冰豆网上搜索。

基于数据中心的海量存储系统设计方案

基于数据中心的海量存储系统设计方案

（一）数据中心的设计

1、IPSAN存储介绍

（1）IPSAN的特点

▪为存储区域网定义（SANs）。

IPSAN是SAN的一种，通过IP实现的SAN，即IPSAN。

▪支持数据库应用所需的基于块的存储。

虽然是通过IP传输，但iSCSI却是基于块的存储，这有别于NAS的基于文件的存储。

▪基于TCP/IP，iSCSI是被封装在IP包中进行传输的，所以它具有TCP/IP的所有优点，诸如可靠传输，可路由等。

▪建立和管理基于IP的存储设备，主机和客户端之间的连接是建立在广泛使用的，为大家所熟悉的开放标准上的。

▪提供高级的IP路由，管理和安全工具。

现有的绝大部分网络管理工具都可以用来管理IPSAN。

（2）IPSAN的优势

▪低成本

由于通过以太网进行传输，企业可以利用现有的以太网设施来部署iSCSI存储网络，而不需要更改企业的网络体系，所以他的部署成本比较低。

由于对以太网的熟悉程度都比较高，所以培训和维护管理的费用也大大降低。

▪协议本身没有距离限制

由于使用TCP/IP进行传输，他不但可以在局域网中进行部署，也可以跨过路由设备在广域网中进行部署，大大扩展了iSCSI存储网络的部署范围。

灵活的拓扑结构：

iSCSI不但可以在局域网内部署，还可以在广域网内部署，拓扑结构非常灵活。

▪易于使用

即使是多个厂家的设备：

iSCSI结构简单，容易理解，协议通用，不同厂家的产品可以有机的结合起来共同使用，极大地保护了企业的投资。

▪易于扩展

由于iSCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足，因此，iSCSI存储系统的可扩展性高。

（3）IPSAN服务器

公司名称:

深圳市盛天海科技有限公司品　　牌:

盛天海

技术参数：

型号

IP-SAN9HD

IP-SAN16HD

IP-SAN24HD

音频

视频

分辨率

PAL:

352*288（CIF），704*288（Half-D1），512*384（D·CIF），704*576（D1）,1280*720（130W）,1920*1080（200W）

NTSC:

352*240（CIF），704*240（Half-D1），512*340（D·CIF），704*480（D1）

帧率

1－25F/S（PAL）、1－30F/S（NTSC）

设备

兼容

视频设备

兼容兼容国内外H264和MPEG4等标准算法设备（如：

海康、大华、汉邦、恒亿、黄河、盛天海、朗驰、亿维、波粒智能、AIP、台湾VIVOTEKsystem、台湾奇偶、德国MOBOTIX等）

系统接口

记录介质

标配1个1000GSATA硬盘，最大增加到9个SATA可插拔硬盘。

标配1个1000GSATA硬盘，最大增加到16个热插拔硬盘。

标配1个1000GSATA硬盘，最大增加到24个热插拔硬盘。

网络接口：

1个RJ45，10M/100M/1000M自适应以太网口

网络连接

局域网、电话线、DDN、ISDN、ADSL、E1、VPN、光纤传输

系统

容量

音视频输入

100路CIF视频网络信号，64路D1，24路百万像素（720P）

音视频输出

单机可以做到16路，可多台IP-SAN服务器级联存储视频

系统

操作系统

Windows2000/WindowsXP/Windows2003/WindowsVista/Windows7

机箱尺寸

W428mm*H88.9mm*D660mm

W43.7cmH13.2cmD64.8cm

W43.7cmH17.8cmD66cm

电源功率

600W

热插拔800W冗余

热插拔900W冗余

重量

《20KG

《42.7KG

《44KG

基本功能：

▪录像计划任务制定、执行

▪多个存储服务器的容错管理

▪视频资料的存储、检索、备份管理

▪远程录像数据的同步&异步检索备份管理

2、IPSAN的解决方案

（1）视频监控系统应用

o方案拓扑图

o方案配置清单

o方案说明

▪每个派出所的300路摄像头连接在视频服务器、硬盘录像机或其他视频采集设备上，视频服务器再与存储设备通过千兆以太网双绞线相连。

▪SI-1600内部采用SATAII磁盘，SATAII硬盘是目前性价比非常高的也是应用最为广泛的磁盘类型。

▪根据存储容量，本方案中每个派出所采用4台磁盘阵列，每台阵列上安装15颗1TB的SATA-II硬盘，共计60颗。

▪用每台SI-1600磁盘阵列的14块硬盘创建为RAID5，剩余一块硬盘作为热备援盘，以确保存储数据的安全性，保证数据在常规情况下不会丢失。

▪每台SI-1600磁盘阵列装配15块磁盘，每台阵列的容量为（15-2）×1TB=13TB（注：

15-2是创建RAID5和热备盘所需的2块），4台磁盘阵列的总容量为52TB。

考虑磁盘的实际容量与理论容量不符，且还需为整个监控系统预留一定的冗余度，则52TB的容量完全可以满足用户需求。

o方案特点

▪管理性

HstoreSI-1600磁盘阵列可以通过阵列前面的液晶面板和超级终端对阵列进行配置、管理、维护和监控，可在液晶面板中查看阵列当前的状态和运行情况，及配置信息，并且在阵列出现故障、读写错误或其他异常时，液晶面板上会显示错误信息，并有蜂鸣报警，以及时通知管理员。

毫无疑问，SI-1600的前液晶面板的设计为系统管理员带来了极大的方便，并能够让管理员迅速地掌握阵列的操作。

▪稳定性

由于每台SI-1600磁盘阵列都有各自的控制器，大大增加了单台磁盘阵列的稳定性。

HstoreSI-1600整机和所有配件出厂前都进行了严格的稳定性测试，保证磁盘阵列在出现一般性故障时不会造成数据读写中断，或数据丢失等严重后果。

SI-1600可以完全满足视频监控系统长时间工作对存储设备稳定性的要求。

▪扩展性

由于监控数据的增长很快，且带有一定的不确定性，所以对于视频监控系统来说，扩展性也是比较重要的方面。

由于IPSAN有着SAN的架构，扩展时只要根据所需容量添加SI-1600设备即可，不受目前存储环境的影响。

o关于方案投资

▪目前在较大型的安防监控行业，对IPSAN已经有大量的应用，正是由于其优良的架构、方便地管理、简便地扩展、比NAS更优异地性能、比FC更低廉的价格赢得了业内的信任。

▪HstoreSI-1600的实施方便、管理简单，采用目前最具性价比的SATAII大容量磁盘，同样容量的情况下，可把使用的阵列数量减少，降低了投资。

▪方便的扩展性，可以根据对容量的需求随时扩容，不需要改变目前的环境架构。

（2）中小电视台

8-15台非编工作站共享存储方案拓扑图

o方案说明

在此解决方案中，我们选用了恒尔特公司的HrtStorSI7000系列ISCSI存储产品。

HrtStorSI7000通过多条千兆以太网线连接大千兆以太网交换机上，在各台服务器和需要高码流的工作站上上安装千兆以太网卡或ISCSI卡，连接到交换机上，使存储设备和主机在物理上连通。

如果服务器和工作站安装的是普通千兆网卡，需要在其上安装INITIATOR软件，用来封装SCSI协议。

HrtStorSI7000采用网格化的体系结构，能够非常方便的进行扩展，可以用它组成各种规模的新闻网，制作网，播出网，以及媒体资产管理网络。

每个阵列提供理论3Gb/s，实际接近200MB/S的带宽，当多个阵列组合成一个整体时，各个阵列的带宽能够线性叠加，提供足以和FC存储系统相当甚至更高的带宽。

由于采用完全的冗余设计，系统能够提供极高的安全性，系统地各个部件都可以热交换，使得在系统在不停机的状态下，能够进行升级和故障部件的更换。

其强大的软件功能，包括快照，克隆，远程镜像等，为数据的安全性提供了额外的保障措施，这些功能都可以在没有主机参与的情况下由存储系统自动完成。

软件的虚拟化功能能够把组成系统的各个阵列无缝的融合在一起，卷可以分散在各阵列之间，也可以绑定在某个阵列之上，卷可以动态的调整，而不会影响主机对他的访问。

o方案特点：

大大节约成本：

在整个存储系统的配置上，采用ISCSI产品只需要千兆以太网交换机和千兆网卡，同时还可以利用原有的布线系统，省去价格昂贵的FC交换机和HBA卡，省去了同样价格不菲的光纤布线系统。

我们知道，千兆以太网交换机和千兆以太网卡的价格只有FC交换机和HBA卡的五分之一到十分之一甚至更低。

HrtStorSI7000系统采用的是SATA-I或SATA-II硬盘，相比于FC硬盘和SCSI硬盘，他不但能够提供更大的容量，价格也要低得多。

整个存储系统的总成本相对于相同。

性能优良

HrtStorSI7000每个阵列拥有2个千兆以太网口，提供理论3Gb/S的带宽，实测带宽近200MB/S的读写性能。

多个阵列能够线性叠加，提供更高容量的同时，提供更大的带宽。

丰富的软件功能提供更多的数据保护和更多层次的数据应用。

方便易用

人性化的图形界面，即使对产品不熟悉的人，也很容易使用。

（3）北京清源并行计算机有限公司

o方案拓扑图

o解决方案说明

存储产品：

在以上所示的企业整体存储结构图中，是采用了企业级存储产品EVA8000的整体解决方案规划，由一台企业级存储系统（推荐采用HP的EVA8000）来作为主要在线的数据库和应用业务服务磁盘存储系统，通过综合用户的不同应用要求和基于SAN架构存储技术的有机结合，真正实现了数据的集中管理，业务分布处理；同时HPEVA8000磁盘存储系统都是部件完全冗余，并支持在线热插拔，可支撑应用系统7*24的不停机运行；EVA8000是最新一代StorageWorks磁盘阵列家族。

它采用VersaStor虚拟化技术，为高端企业市场提供了一款超高性能、超高容量、超高可用性的“虚拟”RAID（Vraid）存储解决方案。

EVA8000不仅具有200，000IOPS的超高性能,具有1500MB/最大连续读取和600MB/s最大连续写入的性能，而且最大可扩展容量至70TB（300GBFC磁盘），而采用500GBFATA磁盘容量可达120TB，是名副其实的存储产品中的贵族。

o方案优势

分级存储：

不同安全级别的数据保存在不同类型的磁盘中，以进一步降低数据存储的成本。

EVA8000支持不同类型的磁盘混合应用，可按需要配置相应的磁盘容量。

如对于级别一的应用系统可采用FCSCSI盘存储，对于级别二可采用FATA盘进行存储。

存储网络：

采用QLogicSANbox5600光纤通道堆叠式交换机，在需要使用存储的服务器设备上配置光纤通道卡（HBA），以4Gb的传输带宽提供对磁盘阵列数据的读写。

QLogicSANbox5600可在不占用光纤端口的情况下灵活扩展到120个端口。

数据备份：

在备份方式上，除了采用原有的光纤磁带库产品和存储自动备份管理软件来实现数据自动备份外，还可以通过利用EVA8000的BusinessCopy软件，实现在线的数据复制，充分利用现有存储资源进行相关的测试、在线备份等工作，并且不影响关键业务的性能；

可扩展性：

通过已有的FCSwitch还可以在该SAN架构基础上扩展主机和存储设备；可将老的光纤设备进行连接。

数据迁移：

可通过网络、SAN、专用工具等方式进行灵活迁移。

针对不同系统和数据类型应用采用不同策略，因而需要在进行详细调研后另行制定相应方案。

（二）海量存储系统的设计

1.海量存储系统架构方案

华侨大学数字图书馆拓扑图

在网络时代，信息资源成几何级数增长，导致通过网络进行传输的信息量不断膨胀，大量的信息需要进行数字化存储。

而数字图书馆是建立在大量可读取和可利用的数字化信息资源之上的，它所要存储和处理的数据量也呈几何级的速度增长，涉及的数据类型不仅包括文本、图像，还有语音、视频等多媒体信息。

如何把这些海量数据系统组织起来进行存储和管理是数字图书馆发展的基础和保证，所以架构合理的数据存储平台，实现数据的集中存储、分析和共享是高校数字图书馆面临的首要问题。

（1）存储架构的分析选择

DNS，NAS和SAN架构，互相之间有继承也有配合，都有自己的优势和适合范围。

DNS和NAS的区别在于内置的专用存储管理服务器和文件I/O协议。

事实上，完成可以用一台服务器和DAS设备组成一个NAS设备，前提是在该服务器上安装专用的NAS软件。

而NAS和SAN都属于网络化存储，只是NAS使用的TCP/IP网络，而SAN则使用的是存储专用网络。

值得注意的是，虽然SAN普遍采用光纤网络，但并不意味着SAN必须使用光纤网络。

如iSCSI结构，并不改变传统标准通信方案和网络基础架构的位置，可以实现在IP网络上运行SCSI协议，经由网络，以IP数据形式实现存储设备中SCSI数据的传输。

同样，使用光纤也并不一定就是SAN。

目前高端的DAS设备都内置有控制芯片进行文件I/O处理，具备光纤通道接口，因此很多DAS产品都具备升级到SAN的能力。

从本质上来看，DAS是这些方案的基础。

综上所述，在资金许可的情况下SAN不失为一个很好的选择，因为其安全性、性能、可管理性等各方面都有很好的表现。

当然，如果网络环境优异（达到千兆以上），NAS也是一个很好的选择，而DAS其高的性能/价格比也有不少吸引人的地方。

（2）架构基于SAN的数字图书馆网络存储的实例

数字图书馆中需要存储的数字化资源越来越多，以华侨大学数字图书馆存储方案的设计为例，目前华侨大学图书馆拥有CNKI、万方数据、维普等数字期刊及学位论文库，超星数字图书，古籍书库以及特色馆藏图书、光盘、多媒体试听资料库等数字资源，数据总容量早已达到Tb级，并且每年更新的数据量也多达几百个Gb容量。

原有几部DAS磁盘阵列已不能满足这样大容量、高速度的数据共享。

由于SAN具有高带宽、易扩展等优势，是未来网络化计算与应用时代的主流存储技术，在资金允许下，华侨大学数字图书馆采用的以EMC公司的CLARiiONCX600和CadzooxNetworks2GbSlingshotTM4210高速交换器光纤交换机为核心的SAN存储区域网络。

CX600为全光纤存储架构，提供端到端的2Gb光纤通道，能够提供超过每秒150000个缓存I/O读写能力和超过1300Mb/s的可持续吞吐宽，从Web服务器到数据仓库和高密度图形或视频数据流环境，CX600都可以高速地传递数据信息，为数字图书馆的数据共享提供了性能上的保证。

容量上，CX600可支持10000r/min以及15000r/min的硬盘，最大原始容量可达到17.5Tb。

我们在CX600阵列上配置了45块73Gb和45块145Gb的硬盘，构成容量为10Tb的存储空间，构建raid5，并分为若干分区，每种应用独享一个固定的分区，之间互不干扰。

通过与光纤交换机的连接，每个分区被映射到交换机的一个端口。

服务器再通过PCI槽上的光纤通道卡（HBA）经光纤连接到交换机，从而形成一套全光纤的存储架构。

另一方面，服务器又通过Cisco4006中心交换机接入局域网，校园网用户能透明地访问存储网内磁盘上的数据，实现存储网与通讯网的分离，大大提高了安全性和数据的易维护性，见拓扑图。

在扩展性上，因CX600支持组大17.5Tb的容量，阵列本身仍预留有7.5Tb的扩展余地。

而秉承SAN架构的易扩展性，往存储区域网中添加存储设备很容易。

因原有4部近10Tb的DAS磁盘阵列，支持从DAS直接升级到SAN架构，只需投入较少的资金，添加光纤通道扩展模块及其光纤通道线缆、周边连接线路，现有条件下，可构成总容量20Tb的存储网络。

在可靠性上，CX600支持全局热备份盘、冗余的电源模块和风扇冷却模块、在线RAID组磁盘数量和容量扩展以及整个阵列端到端的数据路径上的数据块以及校验保护方法。

通过使用两条光纤通道连接服务器的双HBA卡和存储设备，构成双环通道，建立冗余、容错的拓扑结构，服务器可同时通过两条通道访问同一台存储设备，即使有一个HBA卡发生故障，可通过另一个HBA卡继续完成数据的访问，还可进一步配置负载平衡，提高了系统的可靠性，形成一个全冗余、高可用性、每一任何单位一故障点的存储系统，

在投入实际运行后，华侨大学数字图书馆基于SAN架构的全光纤通道的海量存储系统运行稳定，不仅实现了与原有硬件资源的有机整合，而且满足了目前海量数字资源的存储，还为今后的扩容留有余地。

2.磁盘阵列存储设施的设计

磁盘阵列柜的设计挑战

由于磁盘驱动器的技术以及传输接口的技术不断的发展，磁盘阵列系统的设计随时都面临新的挑战，以便符合与日俱增的要求。

一个优质的磁盘阵列柜，必须在设计阶段，就要考虑到其规格必须符合更大容量、更高转速磁盘驱动器的需求，提供：

•稳定、高容量、容错的电源供应系统

•可靠、高性能、容错的冷却系统

•能够克服震动的机械结构

•支持SCA2热抽换接头之被动背板

•一体成型、无主动组件之磁盘载盒

•数组柜环境监控与警示功能

•直接热抽换且方便的维护操作功能

•最佳的空间利用

以下我们就针对这些规格和功能，提供一些建议。

（1）稳定、高容量、容错的电源供应系统

如果各位仔细看看磁盘驱动器的规格书，您会发现磁盘驱动器马达启动时，需要很大的启动电流〈约2A〉，约为平常读写时〈约0.66A〉的3倍；磁盘驱动器在SEEK时，需要很大的瞬间电流〈约2.1A〉，约为读写时〈约0.66A〉之3倍。

因此，电源供应系统必须能提供足够、稳定之瞬间电流，否则会造成磁盘驱动器无法启动，甚至造成数据写入错误〈此为导致RAID磁盘驱动器被RAID控制器判定为Down，但磁盘驱动器送回原厂测试却无故障之原因〉。

当磁盘驱动器转速越来越快，SEEK速度也越来越快时，电源供应器必须提供足够的容量，以因应将来扩充的需求。

具备容错，热抽换、负载分享之双电源供应器，是不可或缺的，更重要的是，如果电源供应器发生故障，要能不必下螺丝就能热抽换电源供应〈使用螺丝起子解螺丝会造成震动及摇摆，会损害工作中之磁盘驱动器〉。

有了双电源供应器，更要具备两组电源输入，一个接到市电，一个接到UPS。

如此，无论突然断电，或UPS故障，都不会造成RAID当机。

（2）可靠、高性能、容错的冷却系统

一般磁盘阵列柜之设计，在每个磁盘驱动器载具上加装小风扇，整个系统再装数个大风扇，用边吸边吹的方式散热，不但散热效果不好，而且是产生磁盘驱动器故障的潜在因素：

它带来的危害有以下这些：

•产生大量气流将粉尘吹入系统，污染磁盘驱动器及风扇本身造成故障。

•采用一般PC用小风扇，且数量多〈转动机械零件越多，故障机率越高〉，系统可靠度因而巨幅降低

•一旦有一个小风扇故障，相关磁盘驱动器便无法获得足够散热而故障。

一个优质磁盘阵列柜之冷却系统的设计，必须完全符合热力学理论之全方位冷却：

热传导、热对流及热辐射之三相散热方式，才能更有效率、可靠度更高：

•磁盘驱动器载盒必须采用黑色、高导热系数之金属〈如铝合金〉，并与载盒紧密接触固定，如此可以最快最有效地将磁盘驱动器之热能传导至整个载盒，然后以最大辐射面积与最佳辐射颜色〈黑色〉，将热能辐射至机体内空气中，再以中央系统涡轮抽风机将热空气以对流方式排出。

磁盘驱动器载盒不能使用风扇，及其它任何主动组件，以免本身故障而损及磁盘驱动器。

•系统采用中央抽风排热设计，须使用两个以上之工业用涡轮抽风机〈不可用一般PC用风扇〉，以提高可靠度与排热效率。

由于工业用涡轮抽风机本身可以防止轴承被粉尘污染，且抽气效率极高，可将机体内热空气抽出，并在机体内产生很大的相对低压，冷空气便可由经过精密设计之对流孔，均匀地进入机体内，达到最佳对流散热效果。

•中央系统涡轮抽风机必须具备热抽换功能，且能够自动温控转速，以达到最佳之排热性能与能源使用效率。

•只需一部涡轮抽风机就足以维持系统散热之最低限度。

工业用涡轮抽风机之出气口面积只有一般PC用风扇1/10，因此即使有任何风扇因故停止运转，也不致影响整个系统之热对流结构、防震机械结构

•磁盘驱动器载盒必须为一体成型之刚性合金制造，且紧密稳固地固定在机箱内。

如果是以卡榫或螺丝方式接合，其防震效果可想而知，非常不理想。

（3）支持SCA2接口的被动背板

磁盘阵列柜背板的另一个重要规格，是必须使用SCA2接头，以支持热抽换〈Hot-Swap〉。

我们都知道，把磁盘驱动器从系统中拔出或插入，会造成很大的突波讯号，可能影响正在工作的Bus，甚至损坏磁盘驱动器接口组件，因此必须要有特殊的设计，来降低并防止突波可能造成的损害。

SCA2接头的设计，是采用长、中、短等不同长度的接脚，将前期电源和地线、主电源、总线信号线等，依照先后顺序接触〈插入时〉或分离〈拔出时〉，如此可以将磁盘驱动器线路缓慢充电，将其电位提升以降低其与总线间之电位差，以减低突波讯号，保护电子接口组件以及避免干扰工作中的总线。

（4）一体成型，无主动元件的磁盘载盒

一个好的磁盘载盒设计，必须没有使用任何可动机械或主动电子组件，亦即，不要有小风扇，也不要任何控制线路。

如此，磁盘载盒本身就是金刚不坏之身，不会造成故障，更不会成为磁盘驱动器杀手。

同时，磁盘驱动器的固定方式，也是一门学问。

除了前述要将磁盘驱动器直接且紧密地固定在磁盘载盒上，以达到热传导散热之外，磁盘驱动器最好是倒挂式固定。

如果采取一般正面式固定，则磁盘驱动器所产生的热，传导至磁盘载盒之后，又辐射出来产生热空气，再往上升，刚好用来烤磁盘驱动器的线路板和组件〈本是同根生，相煎何太急？

〉，会加速组件的老化。

如果采取倒挂式固定，则传导到磁盘载盒的热，会辐射到磁盘驱动器上部空间，由对流气流带走，不会烘烤到磁盘驱动器线路组件。

为求达到最佳热辐射散热效果，磁盘驱动器载盒之表面，最好漆上黑色，因为黑色是最容易吸收热能，也是最容易辐射出热能的颜色。

磁盘驱动器载盒的材质，必须具备高导热系数的特性，如铝合金辨识理想的材料，导热系数高，加工也方便。

（5）直接热拔插且方便的维护操作功能

在一个提供方便维护、安全热抽换的磁盘阵列柜，至少需具备以下功能：

•所有可热抽换的组件，都必须能由外部直接抽换，而不必先移除其它组件，如此才不会造成任何风险。

试想，如果一个风扇坏了，你得先把一个电源供应器移除，才能抽换坏的风扇，你必须保证剩下那个电源供应器不会出问题，否则，你就挂了。

•所有的热抽换动作，都不需要将手或工具伸进机体内部，去拆解螺丝或拔接头。

把工具伸进机体内，可能误触线路造成短路，整个系统可能因此损坏或当机；把手伸入机体内，可能会触电，人一触电，反应是无法预期和控制的，可能会把整个磁盘阵列柜甩到五公尺远。

•所有的热抽换动作，都不需要使用任何工具。

在操作中的系统上使用工具是非常危险的，用力转螺丝会造成机体摇动，磁盘驱动器会受损；金属工具也可能会造成短路。

•所有可热抽换的组件，都不可使用螺丝固定，因为如果不小心，螺丝很可能会掉进机体内，造成短路。

如果一定要用螺丝，也要使用具有卡榫的螺丝，在解下后仍然能够安全地卡在组件上，不会有脱落的危险。

3.磁带库的设计

设计磁带存储方案

设计磁带存储方案