存储与备份与解决方案.docx
- 文档编号:4225670
- 上传时间:2022-11-28
- 格式:DOCX
- 页数:15
- 大小:290.06KB
存储与备份与解决方案.docx
《存储与备份与解决方案.docx》由会员分享,可在线阅读,更多相关《存储与备份与解决方案.docx(15页珍藏版)》请在冰豆网上搜索。
存储与备份与解决方案
存储备份解决方案
北京鼎信泰德科技有限公司
一、概述
信息化浪潮风起云涌,数据价值在不断提升,信息产业已经不再处于萌芽状态,用户对于数据安全的理解已经跨越基础认识阶段,同时计算机产业也在经历了一次又一次的革新,寻求高效、可靠、稳定、适用的信息安全产品以及解决方案是当今企业和各个领域不断追求的目标。
如今我国教育科研信息化建设飞速发展,各地各高校,基于网络应用教育信息资源建设以及数据图书馆建设和应用不断加强;科研机构,特别是卫星图像、遥感数据存储与分析、网格计算等方面的基础是存储系统能够提供海量数据的文件存储和管理,同时能够解决多台服务器并发访问和分析同一份数据的问题。
以各高校建设的数据化图书馆和高性能计算为例,数字图书馆是一个电子化信息的仓储,能够存储大量各种形式的信息,用户可以通过网络及时、准确查询和阅读所需要的信息,图文并茂是数字化图书所具备的特有属性,增强了信息的可读性和可理解力;在高性能计算领域,作为高性能计算和信息服务的战略性基础设施,网格计算已经引起各国学术界、产业界和政府部门的高度重视,目前由12所具有超级计算环境的高校建立ChinaGrid网格主节点,提供5类教育和科学研究应用的专业网格以及开发环境。
因此在教育与科研行业中,信息安全产品和解决方案必将是重中之重,作为在中国存储领域的先锋——北京鼎信泰德科技有限公司,结合教育与科研领域的现状并眺望未来,为其量身定制具有行业特点的解决方案。
二、用户需求与分析
卫星图像、遥感数据存储与分析要求存储系统能够提供海量数据的文件存储和管理,同时能够解决多台服务器并访问和分心同一份数据的能力。
目前用户通过卫星将所需的图像、遥感数据下载至地面,对下载后的图像要求实时的显示,并能实现单帧的捕捉,同时要求下载后的图像要求连续的记录,连续记录时间至少30分钟,针对个别图片,进行单帧或多帧数据进行统计分析。
需求分析
对于采集后的图片,要求每帧图像含1024*180像元,分为左右两半,各512*180像元,同时输出;像元经12bit量化。
像元输出的顺序为自左至右512像元为一行,共180行。
像素时钟70MHz,图像帧频750-380fps。
由于图像要求较高,同时对于地面设备要求的处理图像的能力较强,为此,在针对地面设备的选用时,我们将选择处理性能强,稳定性好,可靠性高的存储设备来配合完成整体的数据分析工作。
三、数据存储与备份应用解决方案拓扑图
四、系统设计方案
1、数据存储系统设计原则
本存储方案是专门根据本次存储系统的需求而量身设计的。
设计方案中充分的考虑了高性能计算系统对于存储系统高可靠、高性能、高可扩展性等多方面的需求,方案经过了反复的论证,以确保方案的可行性、可操作性、可维护性以及未来的可扩展性。
由于本次存储系统中数据的产生、访问、分布上必定对存储系统的可靠性、可用性、高扩展性及可管理性上具有很高的要求。
因此,即将建设的存储系统应遵循以下原则:
1)集中化的数据存储架构
存储架构能够适应高性能计算存储系统目前及未来存储容量的需求,又能够对存储资源进行集中化管理和利用,为用户系统提供一个集中、安全、可靠的存储环境。
2)高I/O、高性能的存储架构
存储系统的多种核心应用不但需要集中的存储系统支持,而且必须兼备很高的I/O性能才能胜任。
3)可保护投资的存储架构
存储架构是一个长期的架构,除了可以应对存储硬件设备的升级速度外,还必须考虑到对前期存储设备的投资保护,在保证不断提供功能和性能提高的同时,存储架构在较长的时间内能够保持相对稳定。
4)高可用性与高数据安全性
数据是系统核心应用的最终保障,必须能够保证7X24运行,存储系统必须有高可用性,以保证应用系统对数据的随时存取。
5)灵活的扩展性
结合系统的数据量增长情况,存储系统必须有强大的扩展性来满足这种高速发展的要求。
6)简单易用的管理工具
系统的核心是数据存储,所以存储设备的数据分类和管理功能十分重要。
为了提高系统管理的效率、管理的安全性,存储系统必须有便于使用的存储管理工具。
2、数据存储系统设计要求
目前的磁盘存储设备有多种选择,如何从种类繁多的存储设备产品中选择一个真正适用于用户需求的产品,我们从如下几方面来考虑:
⏹存储硬件系统-磁盘阵列的可靠性;
⏹存储硬件系统-磁盘阵列的性能;
⏹存储硬件系统-磁盘阵列的可管理性;
⏹存储硬件系统-磁盘阵列的可扩展性;
⏹存储硬件系统-HBA卡与操作系统的兼容性;
⏹存储软件系统-存储管理软件的跨平台管理功能;
⏹存储软件系统-存储监控软件的管理功能;
3、FC-SAS/SATA的存储整体解决方案
EonStorDXS16F为3U高度,新一代架构总线RAID控制器、双电源、风扇,内部磁盘通道为FC接口,外部主机通道为8Gb/s光纤接口,可以容纳16颗SAS/SATA硬盘,目前单个SATA磁盘容量最大为2TB,单柜可以支持最大为32TB容量,系统支持224TB。
通过对存储系统的需求分析,以及系统对存储系统的技术要求。
解决方案的整套系统存储结构采用最为直接有效的DAS结构,将存储设备通过光纤连接服务器上,实现在线存储。
4基于FC的数据备份解决方案
数据的自动化备份,我们采取世界领先备份软件Commvault来实现。
将commserv安装于备份服务器上,介质流客户端安装于备份服务器上,对盘阵内数据进行设置,定制备份策略,预算备份窗口尺度,定制备份周期及验证机制。
实现自动化备份。
数据备份的介质,我们采取传统离线磁带库方案或者虚拟带宽方案。
将磁带库通过光纤连接于备份服务器上,在备份服务器上进行备份配置,定制策略,备份服务器自动在备份窗口进行备份到磁带库上。
磁带库采取多驱动器,多磁带槽位的带宽,即保障了备份窗口缩短,又能满足容量的需求。
HKVTL3540F虚拟磁带库产品对外提供iSCSI或FC接口,对于中小型的数据存储系统,我们推荐采用FC的存储构架。
HKVTL3540F提供1个FC接口和2个千兆以太网接口,通过存储工业标准之一的FC协议和iSCSI协议与主机通讯。
在服务器端用户可以安装专用的FCHBA卡和iSCSI卡以提高于VTL之间数据I/O的性能。
用户可以根据自身的使用习惯通过VTL图形化管理界面虚拟出相应物理磁带库类型的磁带库,同时根据应用系统备份的需求虚拟出一定数量的驱动器以及磁带,并将所虚拟的磁带库指定给相应的主机使用。
在服务器端的设备管理界面中我们就可以看到,服务器已经找到了相关的磁带库以及驱动器,通过备份软件就可以完成数据备份工作了。
HKVTL3540F标准配置中,最大可以虚拟8个不同类型的磁带库、64个驱动器、128个磁带插槽,用户可以根据备份软件的License数量自行设定上述参数。
五、产品介绍
1.ESDXS16F磁盘阵列产品介绍
ESDSS16F-G1840磁盘阵列是Infortrend公司适应市场需求精心设计的8GbFC到3GbSAS的外接式磁盘阵列产品。
它采用Infortrend最新研制的ASIC667硬件校验芯片,拥有4个8Gb/s的光纤接口和1个高速的SAS扩展口,增加了可用带宽,保证了整个系统的高运行能力和运行速度。
ESDSS16F-G1840磁盘阵列由于实现了硬件的XOR运算,在大大增强了数据保护能力的基础上,最大限度的保证了其卓越的性能。
它为中小企业提供了低成本、高性能的存储体验。
ESDSS16F-G1840磁盘阵列具备快照,卷复制/镜像等数据保护功能,最大限度的保障关键业务数据的完整性和业务连续性。
。
1)产品优势
●独立ASIC667硬件校验芯片
●符合IETFiSCSI开放标准;
●EonPath多路径管理软件提供自动负载均衡与故障接管,使主机和磁盘阵列间数据处理效能最佳化;
●全新的CabelLess设计,热插拔背板增加可靠性能;
●支持S.M.A.R.T技术及NCQ
●支持多种本地、全局热备援磁盘设置,对磁盘驱动器提供完整保护;
●冗余、热插拔负载均衡电源系统减少峰值、浪涌电流;
●DDR控制器高速缓存,带有ECC功能,可升级至4GB
●支持硬件RAID6
●支持在线容量扩展
●支持在线RAID级别变更
●支持热备援盘类型:
本地、全局、箱体热备
●支持智能磁盘扫描功能,最大限度保护用户数据
●支持自动RAID重建
●支持写策略自动调整
●支持多种主流操作系统
●支持多种方式管理
2)产品特性
◆高可用
-3U机架式标准机柜可容纳16颗3.5英寸SAS/SATA硬盘
-多种连接方式,配合独有的EonPath路径冗余管理软件,适用于不同应用环境各种存储架构
◆高性能
-PowerPC750GL/800MHz、1M二级缓存
-DDR控制器高速缓存,带有ECC功能,可升级至4GB
-4条8GbFC主机通道
◆高可靠
-系统内部采用Cableless结构的全冗余模块化设计,支持热插拔
-冗余主机通道保证系统的可靠运行
-冗余模块化设计
-可选锂电池保护模块,确保控制器高速缓存内的数据在掉电72小时内不丢失
◆智能反应及预防机制
-自动缓存清理
-自动介质扫描
-自动热备援盘RAID重建
-自动缓存模式转换
◆易管理
-支持RS232、LCD管理面板、JAVAGUI、10/100MB/s以太网接口远程Telnet/WebBrowser等多种管理方式
LCD管理面板RS232终端管理界面
-支持几乎所有的主流操作系统,例如
Windows2000Server
Windows2003Server
Solaris9/10
RedHat8/9,64-bit,Enterprisever.3
64-bit
SuSE8/9,64-bit
AIX
HP-UX
SCOOpenserver
MacOSXversion10.4
NetWare
◆RAID功能升级
-支持RAID级别:
0,1,(0+1),3,5,6,10,30,50,60
-支持硬件奇偶校验
-支持每个逻辑磁盘的StripSize设置:
4/8/16/32/64/128/256/512/1024KB
-支持RAID级别在线变更
-支持磁盘在线扩容
-支持磁盘在线克隆
完善的数据服务功能
-卷快照
-卷拷贝/镜像
-远程卷复制
3)产品技术规格
ESDXS16F磁盘阵列
技术参数
CPU类型
PowerPC750GL/800MHz/1024KBL2
+ASIC4667
控制器高速缓存
1GB–4GBDDR
RAID级别
0,1,(0+1),3,5,6,10,30,50,60
主机通道
4*8Gb
锂电池保护
Flash+锂电池200小时以上
自动RAID重建
是
支持热备援盘类型
本地、全局、箱体热备
在线容量扩展
是
在线RAID级别变更
是
支持最大逻辑单元数量(LUNs)
1024
支持操作系统
Windows/Linux/SCO/HP-UX/Solaris/AIX/Mac等
支持管理方式
RS232、LCD管理面板、JACAGUI管理,10/100MB/s以太网接口远程Telnet/WebBrowser管理
数据服务
卷快照
每个卷最大256份快照,每系统最大4000份快照
卷拷贝/镜像
每系统最大16个源卷,每个源卷最大可建立4个复制对,每系统最大可建立64个复制对
远程数据复制
支持同步/异步两种模式的远程数据复制
常规特性
外形尺寸
标准3U机架式445(W)x130(H)x486.7(D)mm
硬盘插槽数量
16
支持硬盘接口类型
FC8G/4G
单机最大存储容量
32TB
热插拔/容错式电源
2×530W
热插拔/容错式风扇
2
温度
0℃-40℃
相对湿度
5%-95%(非凝结环境)
电源电压
100-240V自适应
通过的认证
等
2.HKVTL3540虚拟磁带库产品介绍
虚拟磁带库是通过存储虚拟化技术将现有磁盘存储系统虚拟成传统的磁带库系统(包括磁带库机械臂、磁带驱动器),为数据备份系统提供高可靠、高性能、低成本的解决方案。
将磁盘做为备份介质是传统备份系统的一次革新,解决了传统备份系统的备份窗口(速度)、机械故障、共享、维护等无法满足应用需求的问题。
虚拟磁带库对于操作系统、备份软件来说,就像真实的、自动化的传统物理磁带库设备一样,差别仅是数据存储在磁盘上。
使用物理磁盘来加速数据备份并避免传统备份介质的缺点,达到了真正意义上的备份系统的革新,取代了数据存储起始阶段的基于磁带备份的机制。
HK虚拟磁带库产品使用SATA/SAS规格的磁盘介质,支持iSCSI以及4GbFibreChannel主机连接方式,以求为用户提供更高性价比的产品,同时向用户提供图形化的管理软件便于用户管理使用。
在存储虚拟技术方面,HK虚拟磁带库产品可以虚拟出多达8个包括ADIC、STK、Quantum|ATL、HP、IBM在内的众多型号的磁带库库体以及64个DLT、LTO、9840等型号的磁带驱动器,可以支持Windows、Linux、Solaris、AIX、HP-UX等操作系统;用户完全可以根据现有系统的环境以及自身的使用习惯定制自己的磁带库系统。
产品优势
●采用最新的核心处理引擎,大幅提升系统响应及I/O效率;
●深入优化的产品架构设计为用户应用数据提供稳定可靠的承载平台;
●多种不同容量规格配置,适用于不同需求的用户群体;
●支持物理磁带的导入导出功能,延伸数据的管理周期;
●提供磁带加密功能,为数据保存提供更安全的保障;
●iSCSI、FibreChannle以及Infiniband协议的无缝支持,方便用户构建适合的存储架构;
HKVTL虚拟磁带库产品优势
Ø备份零故障
通过先进的虚拟处理引擎,HK虚拟磁带库可以虚拟出市场主流的物理磁带库以及相关的磁带驱动器,无机械结构的内部设计,实现了“磁带设备”的使用零故障。
Ø设备高可靠
HK虚拟磁带库采用了稳定可靠的RAID磁盘管理技术,内部均采用企业级的SATA物理硬盘,同时还提供了对更高可靠性和性能的SAS硬盘支持,所有虚拟磁带数据均有冗余可靠的metadata记录,从根本上避免了逻辑数据丢失的问题。
冗余电源、风扇的物理可靠性设计也确保了产品电气稳定性。
Ø访问高安全
HK虚拟磁带库提供了多层次多种类的安全设定。
HK虚拟磁带库提供了分级别的用户管理支持,可以设定用户的不同管理权限,方便实现分层管理;HK虚拟磁带库在iSCSI协议主机访问方面,支持CHAP安全认证协议,同时支持IP地址以及iSCSIIninitator认证方式;在光纤通道协议主机访问方面,提供工业标准的WWN的安全过滤访问设定功能;磁带加密功能也为导出的物理磁带的数据安全提供了强有力保证。
Ø传输高性能
HK虚拟磁带库采用了最为先进的总线技术,为数据I/O提供了强大的交互平台,高效的RAID处理系统避免了硬盘I/O的瓶颈,多端口的iSCSI、FC主机连接通道,为应用部署、数据备份提供了更高的通讯带宽;
HK虚拟磁带库还对全球领先的Infiniband通讯协议提供了支持,借助Infiniband技术,HKVTL虚拟磁带库可以提供超过2000MB/s的数据I/O带宽,大幅提升数据备份效率。
Ø用户易管理
HKVTL虚拟磁带库提供了多种管理接口,以太网接口提供了便捷的远程管理;RS/232串口为系统故障诊断以及产品升级提供了可靠的连接方式;
HKVTL虚拟磁带库提供了多种管理方式,图形化的管理软件使得管理工作变得直观、高效;功能强大的命令行管理接口,便于用户实现存储的整合管理;SNMP协议的无缝支持,方便了系统监控及故障处理。
Ø广泛兼容性
HKVTL虚拟磁带库采用标准的通讯及I/O协议,支持DAS、IP-SAN、FC-SAN等多种连接拓扑,可以虚拟出所有主流的物理磁带库库体以及相关的物理磁带驱动器,兼容所有主流操作系统以及备份软件,避免了系统建设的技术风险。
3.Commvault企业级数据备份管理软件
CommVault公司在业界的定位
1988-1996:
AT&T贝尔实验室,数据事业部
•为AT&T内部UNIX系统开发并管理数据备份软件ABARS
1996:
从AT&T独立
1996-1998:
销售备份产品-Vault98(ABARS)
1998:
放弃Vault98,重新开发新的数据备份系统
2000:
推出Galaxy备份/恢复软件
•全新的系统结构-数据索引,介质管理,策略管理
2002:
推出QiNetix统一数据管理套件
•实现多层次数据保护
2007:
进一步提升产品理念,推出Simpana:
一体化信息管理
•把所管理的数据变成有用的信息
通过以上的公司发展路线可以看出,今天的CommVaultGalaxy备份和恢复软件,是CommVault公司在2000年,针对Internet时代数据量飞速增长的特点而设计的新一代产品。
由于其技术的先进性,该软件多次荣获存储业界的嘉奖,被安装在许多全球500强企业中。
CommVault不仅提供备份恢复软件,而是一家专业的数管理护管理软件提供商,目标专注于创造并实现统一、快速、可靠并易于使用的数据管理管理方案。
世界最权威的IT行业分析家GartnerGroup,把CommVault的备份恢复软件产品评为该领域的领导者,技术排名全球第一。
从以下2005-2008的备份市场分析图表即可看出:
凭借先进的技术,过去5年,CommVault公司以平均每年40%以上的速度增长,而在同一时间内,整个数据备份市场的增长率不到5%。
CommVault为什么超越传统软件
CommVault通过独有的一体化的产品理念,以备份为例,提供如下方面的鲜明亮点:
1.统一的中文化操作管理界面-充分降低用户的使用及维护复杂度
⏹CommVault的界面是基于UniCode全中文的,可以通过Web管理,非常易于使用维护,在UNIX和WINDOWS平台上的管理界面是一致的,都是中文。
除此以外,数据迁移(HSM)、快照、归档、数据复制(CDP)等所有操作均采用如下统一界面,保持了用户的使用习惯,同时借助统一的底层架构(CTE)使系统整体性能不降低。
如下图所示:
⏹其他的备份软件有的为英文界面,有的为采用汉化方式(如Veritas、IBM)。
对于迁移、快照、数据复制等均采用不同的操作界面,而且之间不能共享相应设备,系统维护复杂度极高。
2.图形化数据库的备份恢复——大幅降低管理管理复杂度
⏹针对所有数据库的备份和恢复,CommVault也全部都图形化和中文化,而且可做到基于时间点的图形化恢复,不需要用户编写相应的脚本。
如下图所示(Oracle、DB2、Sybase、Informix):
⏹其他软件都需要编写脚本来操作。
⏹支持表一级的恢复
3.中文化报表管理——全面统计备份系统运行情况,降低维护管理复杂度
⏹CommVaultGalaxy备份软能够根据需要对其管理的各项任务、各类数据、各个主机、各种介质等信息进行统计,并生成中文化电子报表,以提供对这些管理信息的各种报告。
如下图所示:
⏹其它软件没有,无法使用。
4.针对磁带等备份设备使用寿命的管理——保证介质的可靠性
⏹对带库和介质有自动感知功能,能够避免介质的不稳定状态,确保介质上备份数据的可靠性。
⏹原因:
磁带是一个磁性介质,有可能处于不稳定的状态,例如,读1次没有成功,第2次成功了。
其他软件就会认为这合磁带是好的。
但是CV会记录出错的次数,如果超过硬件厂商的阀值(缺省CV提供了),那么这合磁带就会显示为不可靠的图标。
这样CV就不会往这合磁带上备份数据了,如果有数据在这合磁带中,也要尽快移走。
虽然这合磁带没有坏,但是已经不可靠了。
CV的自动感知功能能避免磁带的不稳定状态。
(磁带驱动器的维护方式也类似)。
⏹其他软件没有类似功能。
5.自动恢复策略设定(支持异机)——保证数据的可靠性及数据生产数据的再处理
⏹CommVault可以像制定备份策略一样制定恢复策略,从而自动恢复数据,并可将数据恢复到异机上,在即时保证了备份数据可用性的同时,可将恢复到异机上的生产数据用作开发测试等。
如下图所示:
⏹其他备份软件需要人工恢复某次备份作业,导致人工干预,造成系统维护复杂度大大增强
6.备份路径及备份设备自动冗余切换——保证备份系统的可靠性
⏹CommVault独有的GridStor功能,能够在网络端口、SAN端口、磁带驱动器等故障时,自动将备份数据切换到好的冗余路径上,从而保证备份任务不会中断,在允许的备份窗口内完成备份任务。
⏹其他备份软件没有此功能,当上述任何一点故障时,相应的备份任务中断,需人工察觉到该中断,并手工指定相应路径,重新发起备份,而这些操作往往要等到第二天晚上才有可能进行,从而大幅延长了备份窗口,对应用造成较大影响。
7.备份恢复的断点续传功能——保证网络级备份恢复效率
⏹CommVault系统能够支持文件,Oracle数据库系统的断点续传,从而减少带宽,提高备份成功率。
⏹其他软件最多只支持文件系统的断点续传,而不支持数据库系统和远程灾备的断点续传。
8.快照管理——简单实现ServerFree,保证未来扩展的简单性
⏹CommVault支持主流硬件的快照功能,并且以图形化的方式实现,方便用户管理硬件和实现容灾。
包括:
EMC,HDS,IBM,NetApp,VSS-Enable等。
⏹其他软件都是通过脚本实现硬件快照功能,难于管理和维护。
9.用户权限管理——保证备份系统安全性及系统整合的安全性
⏹CommVault采用完善的用户权限管理,确保用户无法对非授权机器进行相应的备份恢复操作,从而保证在一个备份系统多个备份管理员的情况下的安全性,还可做事后审计。
⏹其他软件往往是只有一个Root用户,只要有备份权限,就有得到所有的数据恢复权限,可以恢复系统中所有的数据到任何地方。
10.备份数据自动校验——保证数据的可恢复性,从而保证备份可靠性
⏹CommVault可以制定策略对备份后的数据立即或周期性自动作校验,保证数据的完整性及可恢复性。
⏹其它软件或无此功能(Legato)或不能自动校验(如Symantec),需人工发起校验任务,导致管理复杂度提高
11.灵活的数据恢复方式——保证数据恢复的快速性
很久以前备份的文件忘了具体名字怎么恢复?
同样的文件有好几个版本,具体恢复哪一个或都想恢复,怎么办?
想知道某个文件在哪盘带上,怎么办?
。
。
。
。
。
上述问题,对于传统软件需要复杂的命令或操作,才可办到或干脆办不到。
而CommVault只需通过图形界面的鼠标点击即可完成。
12.分布式的两级索引架构——保证系统的充分扩展
⏹为了解决单个目录数据库(Catalog)的瓶颈问题和伸缩性的屏障,CommVault研发了两部分索引配置算法,在中心目录数据库中仅仅存放的是配置信息、客户端信息、作业内容和各种各样已经创建的数据类型,这保证了中心“元记录”数据库的大小是可以管理的。
索引的第二部分包括了一个简单的数据库,被放在Galaxy体系结构中的介质代理服务器上(MediaAge
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 存储 备份 解决方案