统一数据管理的理念.docx
- 文档编号:8694906
- 上传时间:2023-02-01
- 格式:DOCX
- 页数:10
- 大小:288.76KB
统一数据管理的理念.docx
《统一数据管理的理念.docx》由会员分享,可在线阅读,更多相关《统一数据管理的理念.docx(10页珍藏版)》请在冰豆网上搜索。
统一数据管理的理念
统一数据管理的理念
IT不断发展与普及,使得各行各业对数据的依赖越来越多,数据已经成为企事业单位的重要资产,因此数据的管理将越来越重要。
不幸的是人们对数据管理还缺乏认识,如何构建一个合理的数据管理系统困扰着IT运维及管理人员。
本文将通过一些应用场景,给大家介绍如何构建数据管理系统。
我们先讨论一下,一个完整的数据管理系统需要那些管理。
因为数据是存放在存储设备中的,那就从存储的分层架构入手,看看数据本身的特性。
数据的存储可以分5个层面,如下图所示:
应用层、生产层、恢复层、保护层和归档层,每个层面的功能如下:
◆应用层:
应用层里有各种应用系统,如数据库、邮件系统,数据是在应用层里产生的,这一层需要保证应用的高可用,也就是当服务器或网络出现问题时,应用能切换继续运行,通常采用集群方案。
◆生产层:
生产层是用来存储生产数据的,应用层产生的数据就存放在生产层,这一层需要保证存储设备的高效和高可靠,当硬盘和控制器出故障时,不影响数据的读写,通常采用的是硬件冗余技术,如:
RAID算法和冗余控制的。
◆恢复层:
生产层能有效防止硬件故障,但不能防止数据逻辑错误,一旦数据出现丢失或破坏,生产系统就会停顿,恢复层的作用就是要快速恢复被破坏的数据。
这一层通常采用的技术是数据克隆、复制和快照,数据的保留期限通常为24小时到48小时。
◆保护层:
保护层的作用是对数据进行保护,也就是传统的数据备份,备份的基本原则是把先对数据进行离线保护,再对离线的数据进行离场保护,数据的保留期限通常在几个月到几年。
◆归档层:
对不常访问的数据应该进行归档,归档的目的有两个方面:
一是省出所占用生产层的存储空间,其二是对数据进行长期保留。
归档层数据的保留期一般为7年到永久保留。
根据以上分析,一个完善的数据管理系统要涉及到:
◆在线存储资源管理:
统计文件系统、数据库系统和邮件系统数据的在线存储的详细状况,为制定数据管理策略,存储扩容提供科学的依据。
◆复制管理:
存储设备、操作系统或存储管理软件都会提供不同的复制技术,但这些复制技术都是针对数据卷的,而不是针对应用的(如数据库),复制管理就是利用各种复杂技术,对应用的数据进行复制,确保应用数据的一致性。
◆数据备份恢复:
针对不同的文件系统、数据库系统和邮件系统进行在线备份,备份要确保应用数据的一致性,保证数据可恢复。
◆归档管理:
按照用户制定的归档策略对数据进行归档,归档管理不仅要考虑如何存放归档数据,更重要的是如何查找归档数据并恢复归档数据。
◆数据的查找或搜索:
根据以分析,我们不难发现数据会以不同的格式存储在不同的存储介质中,如何对这些不同形式的数据进行统一查找或搜索,一直是数据管理的难题,幸运的是CommVault已经成功攻克了这一难题。
◆服务质量管理:
通过把数据管理与服务水平、管理策略和企业战略统一起来,使IT部门能按服务水平的要求管理对数据的操作。
为了解决上述数据管理问题,传统方案是针对每一个管理提供一个独立的管理软件,一些存储厂商为此收购了7、8个不同的软件,这些独立的软件彼此的源代码是独立的,操作管理也是独立,彼此也不能共享存储设备。
这样给数据管理设计、部署、运维管理带来很多困难,其结果是投入大、管理难、可靠性差。
CommVault一体化管理的理念是,在一个数据管理平台上完成以上数据管理,简而言之,就是利用一套源代码程序实现数据复制管理、备份恢复、归档管理、数据搜索、存储资源管理以及服务质量管理,不仅可以降低费用而且可以减少风险,给整个数据环境带来的结果是:
具有独一无二的效率、性能、可靠性和控制能力。
方案1:
企业生产数据集中保护
应用场景:
一个企业的应用比较复杂,为了把问题描述清楚,我们先把企业的计算机按功能进行分类:
●台式计算机/工程工作站
台式机/工程工作站有的用来做设计、有的用于办公,不管用途怎样,每台台式机中都有一定量的重要数据,共享数据一般存储放在NAS或文件服务器上。
如果这类数据不小心被破坏,同样会影响工作,有时甚至带来很大的损失。
所以有必要对台式机中的重要数据提供保护措施。
●文件服务器
每个型企业都有数量不等的文件服务器,文件服务器中的数据是相当重要的,一段破坏或丢失,会带来很大损失。
●应用服务器
每个中型企业都有一定量的应用服务器,他们主要是数据库服务器、邮件服务器以及ERP系统。
这些应用服务器是十分重要的,不仅要保护这些服务器中的数据,还要考虑到如何保证数据的一致性以及业务的连续性。
我们把计算机存储设备按功能的不同划分成:
●本地磁盘存储设备
每台计算机都直连的磁盘或磁盘阵列,这类设备数量最多且分散在任何地方,可管理性和数据安全性都很弱。
●FC生产数据存储设备
具有FC接口的大容量、高性能磁盘阵列,可以接入SAN网,被多台服务器和应用共享,主要用来存放重要的生产数据。
该设备放置在集团数据中心,如果在容灾数据中心也配备该设备就更加理想。
●NAS生产数据存储设备
为台式计算机和工程工作站提供文件共享服务。
●备份存储设备
备份存储设备主要是用来存储备份数据的,根据不同的介质可分为:
磁盘备份设备:
可选用大容量、廉价的SATA磁盘阵列或VTL。
磁带备份设备:
可选用带机械臂的职能磁带库。
解决方案:
根据以上分类,一个典型的企业数据集中保护管理拓扑结构图为:
在这样一个典型的数据备份恢复方案中,有以下几部分组成:
1.CommServe服务器
CommServe服务器是备份管理控制服务器,它只需连接在LAN上。
2.不连入SAN网的服务器
不连入SAN网的生产服务器,这类服务器仅连在LAN上,对这些服务器只能进行LAN备份。
3.连入SAN网的服务器
连入SAN网的生产服务器,这些服务器同时也连接在LAN上,对这类服务器能进行LANFree备份和LAN备份。
4.连入LAN网台式机或工作站
能对连入LAN网的台式机或工作站提供LAN备份。
5.专用MA服务器
连入SAN网和LAN网的MA(MediaAgent)服务器,这类服务器是专门为LAN备份提供介质管理服务的,建议它们不要装在生产服务器上。
6.连入SAN网的生产数据存储设备
连入SAN网的磁盘存储设备,用于存储在线生产系统的数据。
7.连入LAN网的NAS
连入LAN网的NAS设备,NAS连入SAN网可作为选项,可以对NAS提供NDMP备份。
也可以利用NAS存储共享备份索引。
8.连入SAN网的磁盘备份设备
连入SAN网的磁盘备份设备/VTL,用于高速备份和恢复。
如果目前没有该设备,并不影响数据的正常备份,但建议增加该设备,来增强备份/恢复的性能。
9.连入SAN网的磁带库
连入SAN网的磁带库,用于存放备份数据。
在上面的系统架构上,主要提供三种备份模式。
●LANFree模式:
对那些连入SAN网的生产机,可以采用LANFree模式,在该模式下,在生产机内需要安装iDA和SANMA模块。
在备份操作时,iDA模块把需要备份的数据从生产数据存储设备中读入生产机,并在生产机内把备份数据传给SANMA模块,SANMA模块将把数据通过SAN写到备份设备上;在恢复操作时,SANMA将通过SAN网从备份设备上读入恢复数据,在生产机内把数据传给iDA,iDA把数据写入生产系统。
在LANFree模式下,备份/恢复操作的数据经过SAN网转送。
●LAN模式
对那些没连入SAN网的生产机,可以采用LAN模式,在该模式下,在生产机内只需要安装iDA模块。
在备份操作时,iDA模块把需要备份的数据从生产数据存储设备中读入生产机,并通过LAN把备份数据传给专用MA服务器,MA服务器将把数据通过SAN写到备份设备上;在恢复操作时,MA服务器将通过SAN网从备份设备上读入恢复数据,并通过LAN把数据传给iDA,iDA把数据写入生产系统。
在LAN模式下,备份/恢复操作的数据需要经过LAN网转送。
●D2D2T备份模式
D2D2T的意思是磁盘到磁盘到磁带备份模式,这是一个经济、高效、可靠的备份方法。
D2D2T技术针对当前的纯磁带库方案,有更快的吞吐率,它不仅仅是把数据拷贝到磁盘上或磁带就完事,而是针对数据有一整套的管理,它不仅仅能提高效率,而是能确保关键的信息在生命周期的每个环节都是可用的、安全的。
利用高品质的廉价磁盘(阵列)和D2D技术来建第二级存储,与磁带相比具有下列优势:
1.快速的备份和恢复数据。
2.磁盘操作比磁带快,特别在装载和查找时。
3.烦恼的磁带故障被消除。
4.磁盘具有随机读写和优化查找的功能,而磁带是个顺序设备,对随机读写文件很慢。
5.磁盘能支持多台主机同时并行存取。
6.磁盘的存储方案比磁带方案占用更少的机房面积。
7.利用磁盘存储方案可消除操作磁带时的人为错误。
虽然磁盘具有很多优势,但磁带作为离线介质还是有必要的,所以我把备份到磁盘上的数据复制到磁带上,作为异地保存及长期归档。
方案优势:
通过降低备份和恢复负担,提高管理员和操作员的效率
利用向导式的恢复简化操作,显著提高恢复的性能
快速而轻松地查找并恢复单个文件、电子邮件和数据库对象
在为备份和恢复分配的时间内完成更多的作业
迅速而轻松地将数据恢复至另一个系统和位置,确保测试,和灾难恢复
显著减少磁盘和磁带的使用
迅速发现并修复数据保护过程的中断
轻松报告数据管理的价值
利用内嵌磁带追踪和轮换功能来改善介质管理
利用一体化解决方案保护所有关键系统,应用程序和数据库系统
从CommVault®数据保护的核心竞争力中获益
方案2:
文件分级存储及保护
应用场景:
某企业有一个大型文件系统,容量为2TB,用于存放设计图纸,由于设计过程中经常访问的文件只占30%,1年以上不被访问的文件占70%,由于每年还要增长40%的文件,文件系统的压力越来越大,备份的时间也越来越长,大量不常用的文件占用了大量的备份介质。
解决方案:
CommVault数据归档DataArchiver是分级数据管理(HSM)方案,能通过把数据归档到次级存储来释放关键的主存储空间,当用户需要访问这些数据时,数据会自动从次级存储索回,恢复到主存储空间上。
通过利用策略来选择、传送和保留不变化的内容数据,企业可从经济上、生产力上获得重要的效益。
把老的数据存放在分层的存储架构里,这种方法能有效应对数据的快速增长。
采用分级存储机制后,数据分层存放在不同的存储中,那如何来保护在线数据和归档数据呢?
首先,我们必须对在线数据进行备份,通过分级存储后,在线数据会有两部分普通的文件和存根文件,存根文件是一个指向归档文件的“指针”,因此对在线数据保护时,也需要对存根文件进行备份。
而对于次级存储中归档文件,同样也需要进行保护,防止归档文件破坏或丢失。
下面是为这个大型文件系统设计的分级存储及备份的存储策略。
在这个存储规划中,我们采用以下策略:
●对生产系统在线磁盘中的文件制定归档策略:
“一年不访问且文件大于10KB的文件进行归档”,归档后的文件被存入SIS磁盘,保留期限为1年,并把SIS磁盘上的归档数据复制两个磁带副本,一个磁带副本保留在现场,另一个做离场保存,在生产系统中保留原文件存根。
●对生产系统在线磁盘中的文件及归档存根制定备份策略:
“每月做一次全备份,每天做增量备份,备份文件被存入SIS磁盘,保留期限为3个备份周期,并把SIS磁盘上的备份数据复制两个磁带副本,一个磁带副本保留在现场,另一个做离场保存。
●SIS磁盘采用单实例存储,备份数据和归档数据中相同的文件只存储一次,大大节省了磁盘空间。
●磁盘和磁带中的归档文件和备份文件副本,都能直接恢复到生产系统中,归档文件可通过存根进行回调恢复,备份文件和归档文件都可通过控制台进行浏览恢复。
这样一个分级存储的系统的拓扑结构图如下图所示:
其实这个拓扑图和通常的D2D2T备份系统的拓扑结构图没有任何区别,在SAN网中含有生产存储、SATA备份存储和磁带库,生产服务器有的接入SAN,有的没接入SAN网,另外还有一些台式工作机。
CommVault的方案需要一台管理服务器CommServe,它连到LAN上就行。
CommVault方案是一体化的方案,备份和归档能共享存储设备,通过一个控制台进行管理,所以归档管理不需要额外的硬件设备,只需要在归档的服务器上安装归档代理软件就行。
下面对归档前后的容量作一个对比分析,我们假设每个备份周期内增量数据占5%,我们惊奇的发现,在线磁盘、备份磁盘和备份磁带都能节省一半左右,这也意味备份窗口也能节省一半的时间,既能节省成本又能提高效率!
在线容量
磁盘备份容量
磁带备份容量
归档前
2TB
2.1X3=6.3TB
2.1X6X2=25.2TB
归档后
0.6TB
0.63X3+1.4=3.3TB
0.63X6X2+1.4X2=10.4TB
节省
1.4TB
3TB
14.8TB
方案优势:
利用归档策略,对在线存储进行空间管理,不仅提高了在线存储的访问效率,也提高了在线存储的利用率。
由于在线存储数量减少,也节省了备份存储,缩短了备份窗口,加快了恢复速度。
能对在线数据和归档数据提供多层次的保护,备份数据和归档数据都具有多个副本。
CommVault一体化解决方案使归档、备份一体化,共享存储设备,进行统一管理,具有极大的成本优势。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 统一 数据管理 理念
![提示](https://static.bdocx.com/images/bang_tan.gif)