SAN架构存储解决方案.docx
- 文档编号:9495442
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:17
- 大小:27.05KB
SAN架构存储解决方案.docx
《SAN架构存储解决方案.docx》由会员分享,可在线阅读,更多相关《SAN架构存储解决方案.docx(17页珍藏版)》请在冰豆网上搜索。
SAN架构存储解决方案
第一章:
概述
数字图书馆这个概念从开始流行到现在不过十年左右的时间,而在国内成为图书馆界,IT业乃至整个社会的热点甚至焦点则只是近几年的事情。
美国人在90年代初提出这个概念是出于为高速宽带互联网进行应用准备的考虑。
因此,数字化图书馆是作为驱动多媒体海量数字信息组织与互联网应用问题各方面研究的技术领域而被纳入美国的信息高速公路计划NII的。
同样,在国内的数字化图书馆研究界,IT技术出身的研究者也往往倾向于把数字化图书馆看作一个IT技术的应用子集,认为它其实与图书馆的关系远不像名词使用上显示的那样紧密。
然而把digitallibrary一词翻译成"数字化图书馆"而不是"数字化资料库"这个可能有些偶然的事实,给了图书馆界一个不可多得的机会,使图书馆的未来发展与数字化图书馆技术的发展紧密地联系起来,把图书馆界多年来在自动化,电子化方面的努力纳入数字化图书馆技术发展的运行轨道。
达到这一点,不仅确立了图书馆界在数字化图书馆技术和理论研究上的主导地位,也为数字化图书馆技术的发展提供了厚实的应用和需求基础。
传统图书馆最主要的职能是收藏,并在对所收藏的图书资料进行保存和组织的基础上为读者提供各种服务。
媒介是信息传播的载体。
传统媒介包括图书、报纸、杂志、单据、票据、文件、广播和电视等。
传统的纸张作为信息媒介存在着巨大的浪费。
以图书为例,成千上万册的书经过印刷、存储、运输、批发、销售等环节后才能送到读者面前,这样不仅成本巨大,浪费资源,而且环节众多,流通不便,造成的后果是,大量堆积的纸张难以管理和保存,信息无法检索和查找,更谈不上信息的增值。
Internet使得信息传播方式发生了变革。
海量的信息可以通过低廉的传输成本在网络上传送,用户可以有选择地获取和使用需要的内容。
电子化的信息数据不仅节约了传播的成本,同时加快了信息的增值,因此信息资料的数字化成为未来信息社会的基本需要。
数字化媒介是媒介信息的电子化表现形式,一方面可以代替传统媒介表现出相同的文字、声音和图像等信息,另一方面可以方便地管理、查询和阅读,并且通过现代网络技术进行传播和安全保护。
数字图书馆是一个电子化信息的仓储,能够存储大量各种形式的信息,用户可以通过网络方便地访问它,以获得包括多媒体在内的各种信息,并且其信息存储和用户访问不受地域限制。
随着信息技术的发展,需要存储和传播的信息量越来越大,信息的种类和形式越来越丰富。
数字图书馆是一种运行在高速园区宽带网络上的、可跨库检索的海量数字化信息资源库群,对有价值的图像、文本、语音、影像、影视、软件和科学数据等多媒体信息进行收集,进行数字化加工、存储和管理,实施知识增值,并提供基于网络的电子存取服务。
这样的应用无疑对存储系统的要求很高,既要求高可用性、高可靠度和大容量,还需要低成本和易安装管理。
第二章用户现状与需求分析
用户现状
数字图书馆经过前几年的建设,已经建成了一个能在网上提供数据检索、资料查询、网络服务等多种应用功能的大容量数据中心。
但随着读者数量突破百万,资料数据也越来越多,大容量、安全高效的存储设施就显得尤为重要。
图书馆传统的存储设施显然不能满足这些需要。
为适应未来数字化图书馆的需要,图书馆开始大幅度提高存储设备的容量,考虑到图书馆目前的存储容量和未来5年数字资源增长趋势和应用需求,本次扩容的总存储容量定位在5TB级,这些容量主要包括馆藏资源数字化全文存储、多媒体资源存储、WEB服务、邮件服务、视频点播和其他数字化资源和服务。
数字图书馆的预约管理系统、预约数据库系统以及WEB数据库系统作为联机事务处理系统,要求一天运行24小时、每周7天不间断地运行。
像借阅系统,假如中断,其后果不堪设想,而且绝对不允许数据丢失。
在系统的日常运行中,经常有纠正错误数据、更新数据等工作,需要维护人员的干预。
如果系统的可维护性不好,必然导致维护人员忙于日常应付,包袱越背越重。
需求分析
应用系统分析
所谓数字图书馆,就是在网络上建立网站,让网络用户能进入图书馆的WebServer,再通过馆内TRS(全文检索系统)链接到各个文件服务器上,从而能够网上检索、阅读图书文献等资料,实现图书馆式的服务功能。
但随着图书馆图书收藏量的大幅度增加,现有文件管理器的存储量就显得有限。
图书馆需要一种既经济又高效的资料存储方案,这正是目前数字化图书馆建设的当务之急。
目前大多数数字图书馆的软件是由三个部分组成的:
Web服务器、数字图书资料、图书检索系统,而其中存储需求最大的当属数字图书资料部分。
如果以传统的存储方式,如磁盘阵列来存储数字图书资料,势必会造成存储成本过高,存储不能集中,不便于进行合理的管理。
而作为目前增长速度最快的存储方式之一的SAN,以其特有的管理方便、安全性高以及扩充方便等特点,成了图书馆数字图书资源存储的最佳方案之一。
对于预约系统、数据库等系统来说,应用、数据、系统的高可用建设也是必不可少的,应用高可用系统中我们可以采用双机热备或多机集群的方式来实现;数据的高可用我们可以通过对应用数据定期的数据备份来解决。
数字图书馆内容分析
数字图书馆显然不会只有图书,它会集成音频、视频、多媒体等各种其它形式的媒体资源,创造出一个前所未有的阅读新空间。
例如,读者在数字图书馆查找"红楼梦",不但可以看到纸本图书的借还书状态,还可以阅读到数字图书、红楼梦音乐以及《红楼梦》电视连续剧等。
如此丰富的媒体资源存放在光纤磁盘阵列上是最合适的,因为光纤磁盘阵列已经被广泛用于多媒体应用环境中,例如,电视台的非线性编辑、小区电影点播等系统。
光纤磁盘阵列能够提供很高的持续带宽,在大用户量访问的情况下,依然能够提供较高的数据传输带宽。
技术分析
我们建议客户分阶段建设数字图书馆,这是根据数字图书馆建设模式和充分保护客户的投资角度来考虑的。
从IT行业的发展趋势来看,SATA技术作为最新的技术,逐步正成为市场中的主流,而且由于SATA存储介质具有可靠性高、速度快和价格低廉等特点,从而能够很好的保护用户投资。
因此我们建议客户采用FC-SATA磁盘阵列为主的SAN网络。
第三章总体方案描述
方案设计原则和目的
3.1.1方案设计原则
总体解决方案本着充分理解客户需求的基础上,首先着重满足应用需求,进而考虑节约投资为出发点进行系统设计。
在进行系统规划时,方案尽可能全面了解具体的应用,在满足用户基本需要的基础上重点考虑了系统的安全性、可扩展性、通用性、或维护性和系统的高性能。
同时,本方案在推荐产品上,一方面尽量采用较先进的技术和产品,另一方面,又保证产品的稳定性,采用较成熟并仍在继续发展的的产品和技术,以保证将来系统维护的可行性。
基本上,本方案推荐的产品,均有类似的应用范例,以尽可能避免出现未知的产品问题,降低实施难度。
具体表现为以下方面:
维护性:
系统维护和管理的设计应遵循高效、安全、简单、便捷的原则;
可靠性:
在设计上要充分考虑提供安全可靠的技术和管理方式,系统必须要保证其工作的高可靠性和高稳定性,保证常年的不间断运行;
易用性:
系统的设计应遵循简单性原则,即系统管理简单易懂、明晰,方便用户的使用;
高效性:
系统应在合理的性价比下,至少满足系统性能的需求;
安全性:
系统应当在技术和管理上确保系统的各个环节的安全;
可扩展性:
方案应具有良好的扩展及投资保护的能力。
3.1.2方案设计目的
*实现高达6TB数据的集中存储,并有足够的扩展性;
*实现关键数据与系统分离;
*实现关键应用或数据库服务器的24小时系统高可用;
总体设计方案
系统结构示意图
如图所示,除WEB服务器以外所有服务器通过两台BrocadeSilkWorm3200光纤交换机连接1台NetStorDA7520F磁盘阵列,操作系统及应用系统安装在服务器本地硬盘上,而关键数据存放在磁盘阵列上,并通过RoseHA针对预约、预约数据库和WEB数据库构建双机单工或双机双工高可用系统,实现应用的持续性。
当某一台服务器宕机后,由另外一台服务器接管其应用和数据,切换时间在40秒左右。
另外可安装VeritasBackupExec(BEWS)备份软件,通过网络将所有服务器中的数据定时备份到磁盘阵列中或磁带库中。
当某台服务器数据丢失后,可以通过VeritasBEWS软件从磁盘阵列或磁带库中将数据恢复,最大限度的减少损失。
本设计方案实现数据的集中可靠存储、关键系统的高可用和数据的统一集中备份。
3.2.2系统采用的产品
美国ROSE数据公司ROSEHAFORWindowsNT/2000/2003容错软件
NetStorDA7520F光纤磁盘阵列系统
NetStorDA7500F光纤阵列扩展柜
SATA硬盘
BrocadeSilkWorm3200光纤交换机
Qlogic2310F光纤卡
光纤线缆
SFP
系统说明
如图所示,每台服务器上配置两块光纤卡,通过Brocade3200光纤交换机连接一台NetStorDA7520F磁盘阵列。
NetStorDA7520F光纤阵列提供六个光纤通道,可以同时连接4台服务器,采用300GB硬盘,单个阵列最大容量为4800GB,通过连接DA7500F光纤扩展柜,最大连接124块SATA硬盘,提供高达37TB的裸容量。
系统以WIN2000为平台,NetStorDA磁盘阵列及ROSEHA软件为核心,常用数据库及网络数据存放在DA磁盘阵列中,两台服务器只安装本地系统文件及ROSEHA软件,并作双机双工的热备方式。
当系统启动后:
RoseHA首先启动HAmanager管理程序,然后启动必要的服务和代理程序来监控和管理系统服务。
HA代理程序通过RS232或专用网络适配器来监控、监测、诊断和管理硬件、软件服务。
当ROSEHA代理程序监测到某个服务或硬件发生故障并作相应处理后(可由用户设定)仍不能成功时,则开始切换服务:
将IP飘移到相同用户名的另一台Standby服务器上,DA磁盘阵列中的数据库由主服务器切换到从服务器,并恢复所有的服务功能。
完成整个切换过程,平均时间为40秒,此时系统又进入初始状态。
本设计方案实现数据的集中可靠存储、关键系统的高可用。
3.2.4ROSEHA高可用系统方案的特点
◆支持Solaris、Linux、SCO和WindowsNT/2000/2003等主流平台。
◆现有支持Oracle,Sybase,Informix,SQL,Lotus,IIS等数据库代理程序。
◆将两台主机构建为相互备援、负载均衡(DualActive)的高可用性主机集群,也支持主服务器和备援服务器(Active/Standby)工作方式。
◆当任意一台活动服务器宕机时,其IP地址、服务器名称及运行的作业会自动的转移至另一台服务器,客户端软件不须重新设定,只要连接至原先的IP地址及服务器名称即可继续作业。
◆采用高可靠的错误检测和故障恢复机制减少系统宕机时间并防范错误,提供故障警告。
◆可设定故障排除后自动或手动回复(SwitchBack)。
◆安装时不需要修改操作系统的核心、更改应用软件,也无需特殊的硬件。
◆对硬件配置要求不高,服务器可采用不同或相差较大的配置。
◆提供基于GUI的监控中心,管理员能查看ROSEHA的状态,检查错误信息和警告、修改系统参数及从远程工作站管理RoseHA系统。
◆系统切换时间短,平均切换时间为40秒,为目前同类软件中最短。
◆切换过程对应用程序无影响(如柜台系统),无需重新启动或登录。
◆系统效率高。
因为整个系统中数据读写、管理及容错由DA来完成。
而系统从服务器故障纠错处理由HA软件来完成,而这两个都是相对独立的子系统。
双机容错监控路径为LVDSCSI线路(80M/S)和RS232线路或10/100M自适应网卡线路,既不占用主机CPU资源也不占用基础网络带宽,因此系统效率高,这一点在实际的应用中得到用户的一致好评。
集中备份系统解决方案描述
3.3.1数据集中备份方案的实现
由于用户环境中基本都为Windows系统,经过对开放式备份软件生产厂商Veritas、Leagato和CA等的考察,我们建议选择选择VeritasBackupExec对网络中的数据进行集中备份。
选择VERITAS的备份管理软件的原因主要有:
*VERITAS是目前世界上最大的生产开放式备份管理软件的厂商,其备份管理软件支持目前业界绝大多数的操作系统平台;
*其产品线全面,覆盖从个人PC应用到最大企业级应用如AT&T,Oracle,Microsoft等都是VERITAS的用户;
*有与多个硬件设备厂家如SUN、HP、IBM、DELL、COMPAQ、StorageTek、ExeByte、Qualstar及软件生产厂家Oracle、Microsoft、SYBASE、INFORMIX等有良好的合作关系,支持目前流行的硬件平台、操作系统平台,有强大的数据库备份代理支持;
*有良好的技术支持。
VERITAS目前在中国有北京、上海、广州、成都办事处,有多家产品代理的广泛的用户群。
具体的备份方案的描述:
使用NetStorNBSS作备份的服务器(BackupMasterServer),负责整个备份系统的管理,包括备份策略的制订、备份数据库的保存。
负责将本机的数据或客户端的数据备份到磁盘阵列和磁带库中。
该服务器连接一个大容量的磁带库,磁带库的驱动器数量及槽位数根据备份容量确定。
根据对用户应用系统数据量的估计,我们配置ADICScalar100磁带库,提供高达(正常/压缩)的存储空间,完全满足用户的备份策略。
在备份服务器上安装备份软件主模块,其余服务器上安装客户端程序,具体备份软件及磁带库配置见设备配置表。
3.3.2备份策略设置
备份的方式可以分为三种:
全备份、增量备份、差分备份。
●?
全备份
每次备份定义的所有数据,优点是恢复快,缺点是备份数据量大,数据多时可能做一次全备份需很长时间。
●?
增量备份
备份自上一次备份以来更新的所有数据,其优点是每次备份的数据量少,缺点是恢复时需要全备份及多份增量备份。
●?
差分备份
备份自上一次全备份以来更新的所有数据。
我们可以结合这三种方式,灵活应用。
比如:
◆?
数据量少时,我们可以每次都用全备份备份数据,这样,恢复时,只需要指定一个数据源即可。
◆?
数据量大时,如果每天作全备份,效率会很低。
我们可以结合全备份和增量备份方式。
比如每星期作一次全备份(如星期天),其它时间,每天作一个增量备份(如:
星期一到星期六)。
恢复时,只要依次恢复最多七个备份介质即可。
(如:
上周日、星期一、星期二...,直到出事前一天的数据。
)
数据量特别大时,每星期作全备份对系统的压力也会很大。
这时,我们可以结合全备份、累计增量备份、增量备份三种方式,提供相对效率高,恢复有快的备份手段。
比如每个月作一次全备份(如每月初),然后每星期日作一次累计增量备份,其它时间,每天作一次增量备份。
恢复时,先恢复月初的全备份,再恢复上周日的累计增量备份,在依次恢复以后每一天的增量备份,如星期一、星期二...,直到出事前一天的数据。
(最多恢复8份数据,相对的如果不采用累计增量备份方式,恢复时最多可能需要恢复31份数据,恢复速度和复杂程度都会不理想)。
我们建议对所有系统一周至少做一次完全备份,一天至少做一次增量备份,每次备份记录至少保留两周。
数据集中备份方案的特点
备份工作实现自动化
通过采用软件与硬件结合的备份方式,可以实现备份工作的自动化。
只需设定各种备份参数(如备份时间、备份内容、磁带覆盖方式、病毒扫描等),就可以在指定时间到来时自动启动备份进程。
NBSS的使用与磁带库的使用,更避免了每天更换磁带,通过制订相关的备份策略,可以实现每周、每月更换一次磁带或不更换磁带。
提供了良好的管理功能
利用备份软件可以根据用户的需要制订灵活的管理策略,如可以设置在每周一至周四进行增量或差量备份,以减少备份时间和磁带使用量,每周五进行全备份。
同时备份服务器对备份客户、备份介质、备份策略等进行了有效的管理,一旦出现系统错误会通过电话、传呼、发送E-mail等方式通知系统管理员,保证备份工作有效、可靠地运行。
智能灾难恢复功能
备份的目的是为了在故障时进行恢复。
本备份系统的Windows客户端软件支持灾难恢复(DisasterRecoveryOption),可实现系统的快速恢复,大大减少从发现故障到完全恢复系统的时间(通常只需几十分钟就可实现对整个Windows系统的恢复)。
要实现灾难恢复,只要事先为系统生成四张软盘或一张光盘,并进行一次全备份。
这四张软盘或一张光盘包含了Windows启动程序,服务器各硬件的驱动程序,以及从磁带中恢复数据的程序。
当服务器损坏时,先恢复硬件,连好磁带机,放进最近的全备份磁带和增量备份磁带,用灾难恢复盘启动系统,再插入操作系统光盘,就可以顺利地恢复服务器。
统一支持应用数据库
BEWS支持各种主流应用数据库,如SQLServer、Sybase、Oracle、DB2、Exchange、Lotus等。
3.3.4方案可实现的功能
通过制定以上的备份策略,可以对网络中每台机器的系统程序、应用程序以及数据加以保护,不仅能详尽地记录历史数据、有效的管理日益增多的数据量、节省硬盘空间,还能在灾难发生时对系统进行恢复,使损失减至最小。
本方案:
1,能够备份整个网络中的所有服务器的系统文件和应用程序;
2,能够备份主服务器(专用于备份的服务器)自身的全部数据;
3,能够高速备份其他服务器的全部数据;
4,能够做真正的Online实时备份,保持备份数据的完整性;
5,支持主服务器和其他NT服务器的智能灾难恢复,简单、快速、方便的恢复出现故障的NT服务器;
6,对原系统的影响:
备份主控服务器时对网络无影响,备份前置机时,由于备份时间尽量选取网络负载较低的时间段,所以对网络无明显影响;
7,支持磁带库或磁盘阵列等高性能存储设备,可做高速备份,可管理大量的数据备份介质;
8,可以在主备份服务器上执行数据的恢复操作,也可以在客户端上恢复自身已备份的数据;
9,可以实现不同时间段的历史数据的恢复;
10,可以满足不同备份策略的制订;
11,可以根据数据的不同重要性来长时间保存已备份的数据;
3.3.5系统方案的可行性
本方案充分考虑了系统的现状和未来的发展,既能保证系统备份和灾难恢复的基本需求,又能满足系统投入使用后数据量、备份量激增的情况。
备份方案中的选件均可以充分发挥增强系统备份性能的作用,与基本系统相配合更好的完成备份任务,减少备份管理的复杂程度。
3.3.6系统方案的可操作性
本方案采用了集中式管理原则,采用NBSS作为VERITAS备份服务器,备份整个网络数据。
这样的设计原则带来的好处是系统操作员可以通过专用服务器统一管理和备份网络上的所有机器与数据,操作员可以通过Client远端通讯功能备份和恢复网络上的任何一台服务器或工作站,以及作远程服务器的智能灾难恢复。
选用高性能的存储设备可以大大提高备份的速度,简化对备份介质的管理操作,从而减轻了系统管理员的工作量,因此我们认为采用本方案具有很好的可操作性。
综上所述,本方案完全系统的各项需求,同时兼具先进性、可扩充性、安全性、可靠性与实用性,实为系统的最佳备份方案。
第四章产品选型
磁盘阵列选型
磁盘阵列选择的关键不在于性能,而在于可靠性、兼容性、可管理性和售后服务的保证等方面。
追加过高的磁盘阵列性能将是一种浪费因,因此我们在满足用户要求的前提下选择性价比最好的产品。
磁盘存储系统存放的是在线数据,存储系统的可用性会直接关系到应用的的可用性,因此选择磁盘存储系统不仅要考查一个产品的各项指标,还需要对公司能够提供的产品服务进行考查。
在对多家厂商及其所提供的磁盘存储系统考查的基础上,方案选择配置了NetStorDA7520F磁盘存储系统。
此产品的具体特点如下:
灵活多变,模块化设计,SATA/PATA磁盘阵列
NetStorDA7500系列磁盘阵列提供灵活机动的RAID存储解决方案,以适应用户不断发展变化的需求。
基于模块化机箱设计,NetStorDA7500系列磁盘阵列具有强大的可升级能力。
每个机箱仅占3U空间,可容纳16个硬盘。
NetStorDA7500F系列磁盘阵列可灵活进行多种配置以达到用户对容量,性能以及功能的各种要求从而适应多样化的应用环境。
NetStorDA7500系列磁盘阵列存储系统的性能随着磁盘数量的增加而提升,存储容量随着1英寸硬盘厂商单盘容量的增长而成倍增长。
NetStorDA7500系列磁盘阵列的设计提供了极高的可用性。
该系统支持热插拔冗余RAID控制器,环境监测电路。
电池保护的镜像高速写缓存,双路大功率电源和涡轮冷却系统。
功能全面的存储管理
NetStorDA7500系列磁盘阵列提供的存储管理软件可以在本地或远程设置,管理,监测和调整盘阵的运行。
自动呼叫功能提醒管理人员任何细微的异常情况。
友好的基于浏览器的图形用户界面充分描述盘阵的拓扑结构及运行状态,使发生的问题轻易得到处理,保障系统持续运行。
磁盘阵列软件采用双路数据采集技术。
即使一条通路出现问题仍可以自动选择另一正常通路,以保证应用程序正常运行。
性能
高性能的SATA/PATARAID控制器;
双主机通道可以提供4Gb/s(FC)的数据存储速度;
全新的CabelLess设计,热插拔背板增加可靠性能;
为了适应用户数据发展趋势,通过缓存调整功能可以发挥整个系统的最高性能;
可靠性
支持双冗余RAID控制器;
冗余、热插拔冷却风扇确保数据安全;
冗余、热插拔负载均衡电源系统减少峰值、浪涌电流;
支持多种本地、全局热备援磁盘设置,对磁盘驱动器提供完整保护;
可管理性
LCD控制面板;
10/100BaseT?
WEB管理接口;
RS-232C串口字符终端管理
JAVAGUI图形软件管理
可扩展性
最大支持8个LogicalDrives,64个LogicalDrivesPartitions;
最多支持1024LUN地址/控制器;
支持广泛的SATA/PATA磁盘种类;
动态RAID扩容无需任何存储停机时间;
RAID控制器
控制器:
最大支持两个控制器;
CPU:
CPU:
新型双总线六十四位硬件架构,带有256KB二级缓存;
主机通道类型:
支持2Gbps光纤接口;
主机通道数量:
2个
RAID级别:
0,1,3,5,0+1,10,30,50,JBOD;
每个LogicalDrives可以根据不同的应用需求而设定不同的StripeSize(4~256KB);
RAID重建优先级可调,主机命令队列数值可调;
高速缓存:
锂电池保护,可以升级到2GB,ECC纠错功能,总线带宽为1066MB/s;
驱动器接口:
SATA/PATA;
最多支持1024LUN地址/控制器;
驱动器插槽数量:
16个;
驱动器类型:
1英寸高SATA/PATA磁盘驱动器;
驱动器容量:
20,40,80,120,160,200,250GB;
最大容量:
4000GB(16*250GB);
高可用软件选型
根据用户对系统可用性的要求,我们在双机系统中选择了RoseHA高可用软件,原因如下:
ROSEHA是美国ROSEDatasystemInc.出品的新一代高可用性软件,它可以将UNIX服务器组成集群系统,并对服务器进行监控、故障检测、故障恢复,保护运行于服务器中的关键性数据服务和网络服务。
对于在客户机/服务器环境中的网络及数据库中集成的高可用需求,ROSEHA?
提供了非常灵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- SAN 架构 存储 解决方案