HDS数据迁移解决方案要点.docx
- 文档编号:2169144
- 上传时间:2022-10-27
- 格式:DOCX
- 页数:10
- 大小:55.30KB
HDS数据迁移解决方案要点.docx
《HDS数据迁移解决方案要点.docx》由会员分享,可在线阅读,更多相关《HDS数据迁移解决方案要点.docx(10页珍藏版)》请在冰豆网上搜索。
HDS数据迁移解决方案要点
HDS数据迁移解决方案
1.数据迁移概述
数据迁移是企业IT建设经常面对的工作。
在开发环境向运行环境转换、低版本数据库向高版本数据库转换、两个不同数据库之间进行转换以至系统硬件升级时,数据均可能需要被转移并使之迁移后正常运行。
基于存储的数据迁移是一次性的将数据从一个存储转移到另一个存储系统上,它包括对新存储的启用和数据可用性的保证。
在一些情况下,基于存储的数据迁移是进行数据大集中的手段,非常适合大规模数据迁移需求。
基于存储的数据迁移又可分为同构存储迁移和异构存储迁移两大类。
目前基于同构存储的迁移是指在同厂家同型号产品之间数据迁移,需要配置支持基于磁盘阵列内(间)的数据复制软件,在HDS同系列存储环境下,经常性的数据迁移可利用存储产品中的迁移复制(VolumeMigration,ShadowImage)及存储间的复制TrueCopy功能简化数据迁移工作;对EMC而言是配置SRDF-DM或TIMEFINDER等。
异构存储间数据迁移需要虚拟化技术支持,HDS虚拟化技术非常成熟,在虚拟化基础上将原来不能完成数据复制的存储设备整合在一起,形成统一存储池,这时物理上在两个磁盘的数据卷之间的迁移,在逻辑上来讲是在整合虚拟后的同一个磁盘阵列内卷迁移,大大简化了数据迁移的复杂性。
许许多多国内外客户都通过这种数据迁移方式
实现了在线数据迁移。
2.数据迁移的难题
当今数据迁移的主要难题是进行一次成功的数据迁移时间要求
越来越短。
然而应用在存储方面的需求不断增加,存储的升级和更替更加频繁;同时,用户的应用趋向于全年不停顿运行、对系统的可靠性、可用性要求不断提高,维护时间窗口的不断减少等因素,使得进行一次平滑的成功数据迁移越来越具挑战。
在进行数据迁移项目计划时,一些因素是必须考虑的。
2.1数据的保护
数据的保护是最重要的,在数据迁移中数据的安全必须得到完全
的保护。
任何一个更换过个人计算机中的硬盘的人,都对因为在更换
过程中对某些细节的忽视造成的数据丢失有预期和经验。
当在企业级数据迁移中,数据备份、实施步骤的回退计划是保证数据在迁移后的可用性的必需准备。
2.2在线或离线迁移
如果应用可以暂停,则迁移过程可以更快捷;但是当今大多数系统有着严格的可用性要求。
当数据迁移在生产环境中进行时,不仅要密切监控数据迁移的过程,而且要将迁移对生产系统的影响降到最低。
2.3维护时间窗口
通常迁移工作只能在预先确定的维护时间窗口中进行。
通常时间窗口是在夜间或周末生产活动最少的时候。
这些严格的时间窗口的存在使得迁移项目可能表现出不规则间断的情况:
紧张的迁移在时间窗口中进行,然后在时间窗口关闭时停止,业务继续运行;迁移工作只有在时间窗口再次打开后才可以继续进行。
从而使得迁移工作分散成数成不连续的多个阶段性工作。
2.4迁移技术
在开放系统环境中,没有一个完美的数据迁移技术。
每个迁移技术均有优势和劣势。
针对每个特定的业务环境,应该根据不同技术的特点进行仔细甄别选择。
直接费用(人力、硬件和软件等)因素应
该和间接因素(应用停止和生产系统性能影响等)结合起来作为选择迁移技术的判据。
有些需要更大的维护时间窗口,而有些对生产系统的性能会有较大影响。
这些都会成为选择相应存储技术的考虑因素。
2.5计划和应用停顿的容忍程度
数据迁移会对生产系统有着或多或少的影响,当分析完应用可用性要求,完成维护时间窗口的选择后,可供选择的技术就相对比较固
^定O
2.6测试需求
根据应用的情况,特定时间的迁移前测试和迁移后测试是必须的。
因为没有一个普遍适用的测试计划,所以针对每个特定的环境都需要做出详细的有针对性的测试计划。
测试的时间跨度也与应用情况相关,时间长短也是根据应用的需求决定。
2.7数据迁移的时间跨度
总的来说,决定数据迁移时间跨度的最主要因素是用户对迁移对原应用的影响的容忍程度。
而时间跨度与应用可用性之间密切相关。
通常,在费用和可以接受的应用可用性之间有着一定的关系。
越高要
求的应用可用性意味着越多的费用,从而也就制约了时间跨度。
经验表明,在没有详细彻底的评估环境和项目目标的情况下,进行迁移时
间的预测是很困难的。
一般来说,需要经过评估,分析,计划和实施等几个步骤。
2.8整个环境的复杂性
在数据迁移过程中涉及到各种应用和数据之间的关系,越复杂的应用环境,则相应的计划和实施就越复杂。
3.数据迁移技术的选择
客户的原系统应用系统架构中包括了HP、IBM等多种主机平
台,存储为HDS9970V,将来可扩展个多种存储平台,在进行初步分析的基础上,针对未来主机操作系统改变与否,我们认为未来系统的选择可以分为两大类:
同构环境和异构环境。
3.1同构环境的数据迁移技术
针对与现有系统同构,我们认为至少可以有以下一些技术手段可以选择:
基于磁盘阵列远程数据复制技术的数据迁移。
基于主机操作系统逻辑卷镜像技术的数据迁移。
基于数据库备份和恢复技术的数据迁移。
基于三方工具的数据迁移。
基于存储虚拟化技术的数据迁移
3.2异构环境的数据迁移技术
针对异构计算环境,一般推荐可以使用以下几种方法之一,具体
方法的选择还需进一步详细了解现有系统运行环境:
基于主机操作系统逻辑卷镜像技术的数据迁移。
基于数据库备份和恢复技术的数据迁移。
基于三方工具的数据迁移。
基于存储虚拟化技术的数据迁移
3.3可选的数据迁移技术
对于业务数据的迁移,目前主要采用如下五种方法:
基于磁盘阵列远程数据复制技术的数据迁移。
基于主机操作系统逻辑卷镜像技术的数据迁移。
基于数据库备份和恢复技术的数据迁移。
基于第三方工具的数据迁移。
基于存储虚拟化技术的数据迁移
最后的迁移方案应该是上述方案的结合,我们会在上述方法结合
过程中找到最佳数据迁移方案。
331基于主机操作系统逻辑卷镜像技术的数据迁移
此种数据迁移方法,主要利用业务主机操作系统内置的逻辑卷管
理系统的逻辑卷镜像(LVMirror)技术,对于业务系统所使用的每个LV,都进行PV映射扩展,在新的目标磁盘阵列上扩展一个PV
映射,这样,通过数据的初始化同步,可以保证业务数据在原有的磁盘阵列和新的磁盘阵列上保持同步,两边数据完全一致。
然后,在删除每个LV到原有磁盘阵列的PV映射,这样,数据就完全从原有磁盘阵列迁移到新的磁盘阵列。
原有磁盘阵列上的数据在一段时间内保持不变,以用来回退,一旦数据迁移因各种原因无法成功,则还可以利用原来的磁盘阵列提供数据访问。
此种方法存在如下优点:
*步骤简单,容易实现,速度快;
*不需要考虑到上层数据应用系统的内部的结构;
*可以在线进行,只需要较短的停机时间(在所有的LV镜像完成后,
需要停机断开LV和原有磁盘阵列上的PV的映射):
*LV在进行PV映射扩展时,在经过初始化数据同步后,保持镜像状态对系统的性能影响很小(大概会消耗2%的系统资源):
但是,利用这种方法,也存在如下的问题:
*在LV进行初始化数据同步的时候,需要消耗主机系统较大的CPU、memory以及10资源,因此在进行LV初始化数据同步的时候,会对在线系统的性能造成较大的冲击:
基于主机的数据迁移方案对于安徽邮政存储银行信息中心本次项目是可行的,采用该方案可以逐步实现数据迁移,但需要较多的实施步骤和停机次数。
采用该种数据迁移方案各公司间是没有根本区别,HDS公司在这类数据迁移实践中也积累了大量经验。
3.3.2基于数据库备份和恢复技术的数据迁移
此种数据迁移方法,主要通过数据库自带的备份和恢复功能以及逻辑日志追加的技术,实现一个数据逐步迁移的方法,最后达到把数据从原有的磁盘阵列完全迁移到新的磁盘阵列的目的。
本方法比较安全,当数据迁移不成功时,不影响生产系统的正常运行,但是迁移时间较长,对技术要求较高,而且需要专门用于数据迁移的一台与生产主机环境一样的主机,硬件配置可以稍低一点。
基于数据库的数据迁移方案仅仅能够迁移数据库业务应用,对非数据库应用不可行。
因此,对于安徽邮政存储银行信息中心本次项目是不可行的。
3.3.3基于磁盘阵列远程数据复制技术的数据迁移此种数据迁移方法,可以在同一个磁盘阵列内通过基于磁盘阵列的克隆软件或卷迁移软件实现数据复制,完成数据迁移。
如果两个异构的磁盘阵列通过HDS虚拟化技术整合在一起,那么在两个异构的磁盘阵列间的数据复制就转化为在同一磁盘阵列间的数据复制,这就是HDS异构磁盘阵列数据迁移核心所在。
对于两套同型号磁盘阵列,可以通过阵列之间的数据复制技术来实现数据的迁移,如目前的HDS的TureCopy技术,EMC的SRDF技术,都可以实现在两套磁盘阵列之间的数据迁移,并且此种方法不占用主机资源,对应用透明。
但是源磁盘阵列和目标磁盘阵列必须是
同一厂家的同一系列的产品,而且迁移过程对生产系统有一定的性能影响。
334基于第三方工具的数据迁移
此种数据迁移的方法,利用一些第三方的工具实现数据迁移,如Veritas的VVR。
这种方法,不仅需要额外购买第三方工具,实施比较复杂,同时,对于特定的第三方工具,需要满足一些前提条件,如Veritas的VVR只能基于VxFS文件系统上的卷复制,对于其它的文件系统或rawdevice,则无法使用。
3.3.5基于HDS存储虚拟化的数据迁移
此种数据迁移的方法,利用HDS特有的USPv/USPvm的
UVM(Universalvolumemanager)+卷迁移复制
VolumeMigration实现数据迁移。
这种方法,可以采用HDSUVM
和VolumeMigration功能软件,通过UVM实现USPv对外部存储的虚拟化管理和应用重新映射访问,然后用卷迁移软件Volume
Migration将数据应用不停止的在线迁移到USPv内部,由于不涉
及主机的任何设置修改,实施比较简单,迁移速度非常快。
数据迁移方案的比较
迁移方案
是否需要计划性停机,几次
数据迁移速度、性能
迁移所需要消耗的资源
实施难度
操作系统镜像数据命令
1次
可以根据业务情况,LUN级灵活控制拷贝
需要消耗较少的主机端资源(文件系统层次镜像)
完全采用系统管理员熟悉的文件系统命令,难度很小但管理非常复杂,手工
速度
操作容灾出错,风险较大。
Oracle
Standyby
方式备份和恢复
2次
中等
需要消耗一定的主机端资源(数据库层次log)
取决于对数据库的熟悉程度(注意数据库的nolog操作)
磁盘阵列复制(只能在同构阵列间实施)
1-2次
较快,但不能灵活调节
1.需消耗阵列的控制器能力和大量缓存资源;2.
主机10需增加一定的时延,若在同机房迁移则影响较小
需仔细规划,确保阵列和主机之间的数据完整性。
迁移结束后测试验证可回退性差。
存在安全隐患,实施案例很少。
第二方工具
2次
速度可控
TDMF需要占用5-10%
的主机系统资源
取决于数据迁移服务人员实施能力。
HDS存储虚
拟化+卷迁移
1次
速度最快,非常
灵活
1•不消耗任何主机资源,需消耗阵列的控制器能力和大量缓存资源;2.主机IO需增加微不足道的时延
需要将外部存储FC端口和USPv逻辑连接,以便USPv能识别和虚拟化外部存储的LUN,然后通过卷迁移将外部存储的卷在线迁移到USPv内部。
非常多成功案例。
4.安
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- HDS 数据 迁移 解决方案 要点