商业银行基于VMAX3完成数据迁移及同城容灾技术手册Word文档下载推荐.docx
- 文档编号:17363186
- 上传时间:2022-12-01
- 格式:DOCX
- 页数:23
- 大小:1.39MB
商业银行基于VMAX3完成数据迁移及同城容灾技术手册Word文档下载推荐.docx
《商业银行基于VMAX3完成数据迁移及同城容灾技术手册Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《商业银行基于VMAX3完成数据迁移及同城容灾技术手册Word文档下载推荐.docx(23页珍藏版)》请在冰豆网上搜索。
选择双引擎架构来承载关键业务,想必是出于业务对存储处理能力、缓存数量、业务端口数量有最低限制的要求,而对于容量的极限扩展能力相对要求不高。
用于采购和技术方案的详细参数指标详见《VMAX3-系列产品指南》,项目实施初期的物理安装要求详见《VMAX3-系列站点规划指南》。
1.2VMAX3基本逻辑配置
讲起大多数VMAX3的逻辑对象配置工作,很多客户购买了该产品后,实施厂商已经按照具体使用需求,完成了大多数的配置选型、设备下单、运输安装、初始化、存储映射、以及操作系统多路径软件部署、逻辑卷识别和参数调整等逻辑配置工作。
如果采购多台存储用于多地多中心的容灾环境,针对各地系统的容灾规划,存储间的逻辑部署工作也会由原厂来完成,主要包括存储SRDF端口的逻辑配对,生产容灾主从SRDF存储组配置,SRDF远端、目标端存储pair配置,以及数据同步关系的初始化、启停和查询的一系列逻辑操作等。
1.2.1存储映射配置
大多用户都是从存储映射开始的,VMAX3在映射关系中的概念,大部分可以从其他存储厂商的概念移植过来,了解VMAX3存储系统实际硬件配置和初始化信息的基础上,就可以整理出存储映射所需要的信息了。
存储初始化基本配置信息:
•存储系统硬件信息:
序列号、引擎及/Cache、VaultFlash,前端口数量/速率、磁盘类型/容量/数量以及热备盘情况
•初始化信息:
设备微码版本、可用引擎数、可用内存数、是否DARE加密、是否需要大机支持、开放平台支持、RDF模式等
•主机信息:
业务主机名称、系统版本、集群关系、HBA卡名称、PN号、WWN号
•空间需求:
空间RAID保护类型、主机卷组名、所需容量、存储卷名称与数量等
•端口分配:
按不同的业务系统分配不同的前端口,存储端形成对应的端口组,并确保端口所在不同Fabric冗余
掌握上述信息,按部就班进行主机磁盘分配与映射,确认与配置步骤如下:
查看存储资源池(SRP)-查看磁盘池(ThinPool)-根据业务IO类型选择服务级别(自动FAST配置)-存储端口组(PortGroup)-主机端口组(InitiatorGroup)-逻辑卷组成的存储组(StorageGroup)-存储与主机映射关系(MaskingViews),具体的配置在后面web界面中会介绍,详见《DellEMCUnisphereforVMAXOnlineHelp》
1.2.2多路径软件部署
路径(Path)是指主机与存储系统逻辑单元之间的物理链路,包括主机总线适配器(HBA)端口,电缆,交换机,存储系统接口和端口,以及逻辑单元(LU)。
逻辑单元指可作为单一存储卷被寻址的物理或虚拟设备。
对于iSCSI标准,路径指Initiator-Target-LU。
图4:
是否有PowerPath的IO分布对比图
DellEMC的存储多路径软件为PowerPath(这里简称PP),PP对不同操作系统会有对应版本,其作用是基于主机系统管理各主机至存储路径,聚合冗余路径提高可用性,并动态均衡路径IO负载功能。
PP可以管理DellEMC主流存储产品(Symmetrix、Unity、VNX等)以及其他厂商设备。
选择性的安装PP,取决于实际使用场景和个人习惯,由操作系统工具、集群管理工具或数据库存储管理工具来管理逻辑单元未尝不可,但PP比较各操作系统自带的多路径软件,在故障切换、负载均衡和其他特性上具备一定优势,具体的安装配置方法,可以参考PP的Readme文件。
1.2.3主机逻辑卷识别
如果需要PP多路径软件,个人习惯于安装好多路经软件(包括License的导入)后,再进行主机端的磁盘扫描,实际部署时会规避掉一些多路径软件设置和操作系统中路径聚合定义管理混乱的情况发生。
主机端进行SCAN逻辑卷操作,新部署的系统常用重启操作完成主机对逻辑卷扫描(Scan)动作,已有业务运行的操作系统,当存储系统对逻辑卷或端口进行过配置变更之后,也可以通过系统本身或SolutionEnabler配置管理工具进行扫描,具体的方法可以参考《Host-Connectivity-Guide-for-Linux/VMwareESXSERVER》等主机连接手册。
逻辑卷被识别后,由PowerPath相关命令进行管理。
相信每位存储管理员都会有一份主机逻辑卷名称(或PowerPath的伪磁盘名称)、容量、存储LUNID的对应关系,后续的容量变更、TimeFinder实施、容灾切换等变更维护工作和故障监控、故障影响范围确认、性能监控,都会以此信息为准,即使有自动化运维工具的,也需要将这些信息导出留存。
1.3SRDF技术
Symmetrix®
RemoteDataFacility(SRDF)是一种基于Symmetrix的用于保障业务连续性和远程灾备的解决方案,通过对多台Symmetrix进行配置,在不同地点实现多点、实时的数据备份。
Symmetrix从最早的DMX系列,到配置EnginuityVMAX10k、20k、40k阵列,再到运行HYPERMAXVMAX100k、200k、400k、全闪250F/450F/850F/950F,发展到运行PowerMaxOS的PowerMAX2000、8000系列,SRDF也在不断迭代,适应硬件架构的改进。
但典型的拓扑结构和操作模式变化不大,只是结合TimeFinder等技术,与集群软件的配合,衍生出众多应用不同场景的方案。
自HYPERMAX以来,SRDF/Metro的双活技术出现,使存储阵列本身脱离了存储虚拟化网关制约,为双活数据中心提供了新的技术手段。
1.3.1SRDF典型拓扑
银行业根据人民银行对数据中心要求,以及自身实际的建设需求,可以采用同一数据中心的两站点保护拓扑,和数据中心间的多站点SRDF拓扑结构。
根据业务级别以及容灾容错具体要求,选择恰当的拓扑结构,配合SRDF操作模式完成数据保护与容灾切换等应用场景。
表1:
SRDF适用场景双站点拓扑
表2:
SRDF适用场景多站点拓扑
1.3.2SRDF/Metro
在传统SRDF配置中,双站点SRDF架构中业务主机应用程序主机只能对R1设备进行读/写访问。
R2设备为只读,禁止写入。
但是在SRDF/Metro配置中,应用程序主机对R1和R2设备均可进行读/写访问,可以同时写入到设备对的R1和R2端,R2设备使用与R1设备相同的外部设备标识。
标识包括设备结构和设备WWN。
这一共享标识意味着R1和R2设备跨越两个阵列对应用程序主机显示为一个虚拟设备。
SRDF/Metro可以部署在单个多路径主机环境中,也可以部署在群集式主机环境中。
图5:
SRDF/Metro部署环境
每个群集节点都有专用途径来访问单独的存储阵列。
在这两种配置中,对R1和R2设备的写入都将同步拷贝到另一个阵列中的配对设备,磁盘锁和写时序逻辑由SRDF/Metro软件协调处理,使SRDF两端设备保持一致的镜像。
SRDF/Metro配置中发生单侧设备不可用或设备间连接中断,SRDF/Metro通过可靠稳定的第三方阵列或虚机见证者(vWitness)确认故障点,参考PowerMaxOScode版本、RDF连接架构(是否具有SRDF/ADR分支)及端口使用情况、bias设置作为判断依据,选择出提供服务的一端存储,避免单侧主机不可访问或“裂脑”情况发生。
阵列和虚机两种witness可以并行使用,但生效的仅有一个,当所有witness均失效时,SRDF/Metro会变由active/active模式变为active/bias模式,按照预设,保护性地使一端变为bias可读写而非bias的另一端不可访问。
在同城异地三中心或四中心的灾备架构中,可以将按下图中方法将Metro的任意一端或者两端复制到不同的第三、第四中心或者共同的第三中心。
图6:
SRDF/Metro多站点部署
2VMAX3运维管理
2.1VMAX3支持的典型管理工具及版本
这些组件为HYPERMAX提供的管理工具,选择典型介绍:
·
UnisphereforVMAXV8.4
UnisphereforVMAX是一款基于Web的应用程序,便于快速调配、管理和监视阵列,具备存储性能与配置的RESTAPI接口。
SolutionsEnablerV8.4
SolutionsEnabler提供管理存储的综合命令行界面(SYMCLI),SYMCLI命令可以在主机上交互运行或者在脚本中调用,可配置TimeFinder、SRDF等存储软件,监控设备配置与状态,执行部分设备控制操作,具备RESTAPI接口。
MainframeEnablersV8.1
以大型机为主要支持对象的存储命令行监视、管理软件组件。
GDDRV5.0
地理位置分散的灾难重启软件本身不提供复制和恢复业务,而是在计划性与灾难性宕机发生时,或者容灾切换演练情况,监视执行管理配置好的事件定制步骤,快速且无人为干预的完成业务切换。
SMI-SV8.4
支持SNIA存储管理计划(SMI)的ANSI存储管理标准,使不同厂商存储管理技术可以相互操作,便于监控异构存储资源。
VASA提供程序V8.4
支持vCenter更好的管理VMFS存储(包括VVol)的配置与保护情况,给vSphere管理员提供更多存储信息,补充插件和工具的使用,满足虚拟化的性能和可用性需求。
其他软件
eNAS,SRDF/CEMigrator等针对VMAXFILE、SRDF和数据迁移工具的管理软件如果有兴趣也可以单独了解
2.1.1WEB界面
WEB界面可以通过存储自身的虚拟控制台进行登录,也可以连接到安装了UnisphereforVMAX的主机上进行管理。
存储自身虚拟控制台管理IP需要在设备初始化时,由工程师配置进存储;
而管理主机进行Web管理前,需要与存储在SAN网络通讯,识别到管理GK盘,部署过SE和UnisphereforVMAX软件,开通8443端口等,当然管理机视图和可执行的操作会比存储自身控制台丰富和全面。
访问地址:
https:
//<
mgmtIP>
:
8443/univmax/,访问后可针对存储逻辑卷,存储端口、主机端口、映射关系、数据保护等进行管理,管理界面如下:
图7:
UnisphereforVMAXWeb管理界面
2.1.2SYMCLI命令
命令行管理工具常部署在管理机上作为日常管理的使用场景,也常部署在TimeFinder或者SRDF执行的业务系统中,配合业务需求,将配合查询或备份的场景命令脚本化。
Solutions-Enabler的安装配置、存储控制管理、TimeFinder操作和SRDF用户手册,均有详细的使用手册。
2.1.3集成存储监控工具
集成存储监控管理工具通过存储的RESTAPI接口,有针对性地进行性能数据收集分析、事件监控处理、容灾切换等场景的集成统一管理。
用户常采用成熟软件产品或者定制化开发,实现存储设备自动化运维、统计报告生成和前瞻性分析等。
此类软件有IBMSpectrumControl,DELLEMCViPR,开源软件XoruXSTOR2RRD以及利用开源Zabbix监控数据采集和Grafana监控界面展示实现针对自身存储定制开发产品。
图8:
STOR2RRD监控管理工具
2.2性能与监控
2.2.1性能分析与报表
Web中Performance-EMCView中可查看存储整体、存储组及热点情况,选择观察统计时间之内的前、后端口IO、吞吐量、存储缓存落盘延迟情况以及主机读写请求。
图15:
性能与监控整体视图
整体观察性能数据后,可针对存储进行实时分析、本源分析和趋势分析:
图16:
性能分析视图
需要生成性能报告时,选择Chart,时间段、均值峰值和相关参数指标,在右侧形成图表。
图17:
性能报告视图
2.2.2日常故障监控
自动远程监控
如果用户的网络条件允许存储设备通过加密互联网配置DellEMC远程监控及支持系统,(包括callhome,Webex、ESRS等多种模式),会自动报修设备异常并由远程工程师处理解决,需要现场维护的时候,自动通知现场工程师进行现场维护。
但出于行业监管和安全的要求,金融行业普遍需要采用本地监控方式自行监控处理故障。
WEB查看存储状态及告警
在UnisphereforVMAX中System-SystemDashboard中查看存储各硬件部件状态及健康检查,运行健康检查HealthCheck之后刷新检查当前Status系统状态:
图18:
存储系统健康检查结果
在UnisphereforVMAX中System-Alerts中查看故障事件
图19:
存储系统告警列表
SYMCLI命令行及集成监控环境
登录到安装有SolutionsEnabler的主机,执行以下命令查看主机状态:
列出该主机所连接的存储信息
symcfglist
图20:
symcfg结果示例
查看存储设备的日志信息:
symevent-sid<
sn>
-vlist-start<
startdate>
[-end<
enddate>
]
图21:
symevent结果示例
事件信息需要关注告警控制器(ReportingDirector)、告警类别(Category)、等级(Severity)以及故障代码和描述信息,便于定位故障与保修描述。
再列举一些常用设备状态查看命令:
查看系统设备状态,正常状态为Normal
symcfg-sid<
list-env_data
图22:
symcfg–env_data结果示例
查看系统故障磁盘,正常状态没有找到故障设备
symdisk-sid<
list-failed
上述命令可以写在定时任务中,便于每天查看执行结果,或者推送到集中监控平台触发事件告警、分析与处理流程。
3利用VMAX3及SRDF/S完成数据迁移及同城容灾搭建案例
3.1案例背景介绍
案例通过在线方式将数据迁移到新数据中心进行多批次的新业务验证和迁移演练,保证在不改变现有生产架构、不影响现有业务的前提下,最小化业务切换窗口,完成业务系统数据迁移和生产数据中心平滑切换。
原有业务在A、B每个数据中心均由主、备小型机主机与IBMV7000存储运行数据库,两数据中心之间的两台V7000通过MetroMirror进行同步复制。
新建数据中心C将作为迁移后主中心,原有主中心A将作为迁移后的备数据中心,原B中心将不再使用。
两台VMAX100k存储分别在A和C两中心部署、通过配置和SRDF/S的操作,实现数据迁移演练、业务验证和数据中心切换的工作。
图23:
数据迁移三中心示意图
3.2兼容性考量
迁移的关键是需要确认A中心主机集群两种多路径软件共存的兼容性。
在共用HBAadapter前提下,两款多路径软件在系统中兼容共存,而且可以管理各自的逻辑磁盘而不干涉管理其他磁盘路径正常IO操作,是该方案可通过系统LVM实现迁移的重要前提,系统环境和兼容性确认和安装要点如下供参考。
3.2.1系统环境与软件相关信息
操作系统:
AIX,版本:
6100-06-02-1044
源端存储型号:
V7000
存储FirmWare:
7.1.0.5
对应多路径软件SDDPCM:
2.6.3.2
目标存储型号:
VMAX100K
5977.1131.1131
对应多路径软件PowerPath:
6.2.0.0
3.2.2兼容性确认
兼容性确认参考了SDDPCM和POWERPATH的相关手册,理论上确认了同时在AIX系统中安装这两款成熟的多路径软件的可兼容性。
如下图,解读《MultipathSubsystemDeviceDriverUser’sGuide》的意思,LVM等主机IO都是调用AIX中多路径磁盘的驱动实现读写和路径冗余的,而两种厂商多路径软件均在遵循系统磁盘多路径驱动的基础上,结合自身存储特点优化而成的驱动子集,互不冲突互不干扰共同调用共享HBA驱动,完成对各自逻辑磁盘的管理。
图24:
SDDPCM与其他厂商存储共存
另外,在PowerPathforAIX6.1的手册中,明确列出可与日立、IBM、惠普等厂商存储多路径兼容的列表。
而且如果上述软件已在系统中安装,则PowerPath将不再对下列存储逻辑卷类型进行支持,也就是仅支持自家存储。
图25:
PowerPath对其他厂商存储多路径软件兼容列表
如果系统中最早安装了PowerPath,需要为系统增加上述存储及多路径软件,需要首先设置PowerPath不要去管理其他厂商存储,再进行软件安装。
以增加IBM存储为例,则运行:
powermtunmanageclass=ess
兼容性理论上确认之后,基础环境搭建之前,我们测试了在上述系统环境中已存在SDDPCM的环境,安装PowerPath的实际效果,软件安装后并不影响原磁盘管理,同时对目标存储磁盘识别和管理也正常,并未重启系统,理论和实践的兼容性测试,为后续迁移的成功奠定了关键技术基础。
3.3基本环境搭建阶段
数据中心A和C按照双站点SRDF/S模式进行搭建,与新数据中心站点C的完全新建不同,原主中心A在切换之前的所有操作,需要在原有生产环境不受任何影响,在线完成下列配置:
A中心SAN交换机配置:
生产主机与VMAX100k存储zone配置、与C中心SAN交换机级联配置,
A中心主机安装PowerPath多路径软件、识别存储逻辑卷、在HACMP环境中通过LVM完成V7000存储与VMAX100k逻辑卷的镜像(VMAX100k逻辑卷数量与容量与V7000一致,容量不小于V7000卷)
数据中心A和C存储间完成SRDF/S配置:
RDF端口、两中心逻辑卷配对、以及由A至C中心的SRDF/S同步方向。
其中关键步骤为:
在A中心存储管理机上建立动态SRDF组,并添加多组A_dev_id:
C_dev_id的设备对文件dev_pair.txt
#symrdfaddgrp-labeldyngrp4-rdfg<
A_rdfg_id>
-sid<
A_sn>
-dir<
A_rdf_ports>
-remote_rdfg<
C_rdfg_id>
-remote_sid<
C_sn>
-remote_dir<
C_rdf_ports>
#symrdfcreatepair-fdev_pair.txt-sid<
-rdfg<
-typer1-invalidater2
3.4数据迁移演练与业务验证阶段
该阶段需要发起A中心至C中心的数据同步,数据同步后,C中心利用迁移来的生产数据进行参数修改、业务验证、新业务间联调等工作,同时为迁移演练提供准确的数据同步与业务启动、验证时间,经过多批次的验证和迁移演练时间压缩后,业务部门内外报备,申请最小停机窗口进行真实数据迁移与数据中心切换。
其中关键步骤:
在A中心存储管理机上执行查询、发起同步和断开SRDF数据通讯的命令
查询并确认SRDF同步方向,由local的A中心存储ID至remote的C中心存储ID。
(-i参数为自动查询间隔时间,time为秒数,可用此命令估算同步数据时间)
#symrdf-gdyngrp4query[-itime]
首次发起由A向C中心全量同步:
#symrdf-gdyngrp4est–full
增量发起由A向C中心同步:
#symrdf-gdyngrp4est
查询确认同步速度和同步状态为sync之后,断开SRDF使C端存储可读写
#symrdf-gdyngrp4split
3.5数据中心真实切换
数据中心真实切换时,将有序停止原A中心业务,数据同步至C中心后,断开存储复制,在C中心有序启动业务并验证业务。
关键决策时间点内,小概率业务验证不成功,则有序停C中心业务并启动A中心业务,确定原因后再申请迁移窗口;
若业务验证成功,则更改SRDF/S同步方向,由新主中心C向新备中心A同步数据,同时拆除A中心主机LVM镜像,保留VMAX100k逻辑卷,完成主中心至容灾中心的快速切换。
在确认C端为主中心后,状态为split的SRDF可以执行存储复制方向互换,下面命令仍在A中心存储管理机上操作,执行确认后查询,R1和R2位置存储已对调
#symrdf-gdyngrp4swap
对调
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 商业银行 基于 VMAX3 完成 数据 迁移 城容灾 技术 手册