1、存储系统建设技术方案最终版要点1数据中心容灾备份方案概述1.1概述当今社会，政府和企业利用计算机系统来提供及时可靠的信息和服务是必不可少的，另一方面，由于各种预见和不可预见的原因，计算机硬件和软件都不可避免地会发生故障，导致不能及时的提供信息和服务,甚至整个计算机系统的终止，网络的瘫痪，等等，给政府和企业带来极大的经济损失，影响政府、企业的形象。特别是数据库数据，一旦发生故障，引起数据丢失，不可恢复的话，将带来严重后果。可见，对于这些政府部门和企业，系统的容错性和不间断性尤显得重要。因此，必须采取适当的措施来确保计算机系统的容错性和不间断性,以维护系统的高可用性和高安全性，最大可能减少由于各种
2、故障造成的损失，提高政府和企业形象。数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。1.2国家信息安全规范和政策进入21世纪，电子政务的建设已经成为我国今后一个时期信息化工作的重点，政府先行带动国民经济和社会发展信息化，同时加快政府职能的转变，提高行政质量和效率，增强政府监管和服务能力，促进社会监督，实施信息化带动工业化的发展战略，因此，电子政务意义重大，电子政务的信息安全更是重中之重，我国至今已发布一系列的文件对灾难备份建设进行指导和监督。、2003年9月7日中共中央办公厅、国务院办公厅发出通知，
3、转发国家信息化领导小组关于加强信息安全保障工作的意见（简称中办发200327号文件），要求各地结合实际认真贯彻落实，各基础信息网络和重要信息系统建设要充分考虑抗毁性与灾难恢复，并制定和不断完善信息安全应急处置预案。国家信息化领导小组关于加强信息安全保障工作的意见是为进一步提高信息安全保障工作的能力和水平,维护公众利益和国家安全,促进信息化建设健康发展而提出的。、2004年9月，国务院信息化办公室专门下发了关于做好国家重要信息系统灾难备份的通知，要求在系统面临自然灾害、网络攻击、恐怖活动、战争行为、人为蓄意破坏以及大规模的设施故障等意想不到的灾难突发事件情况下，要提前做好灾难备份工作，提升系统灾
4、难恢复能力，达到系统抗毁的有效性、重要数据保护的完整性和业务的连续性。通知明确强调“谁主管谁负责、谁运营谁负责”，并特别指出了国家重点信息系统包括七大部门、三大信息基础设施等，强调重点信息系统的建设及安全保障是直接关系到社会稳定、国计民生等重大问题。、为加强和规范重要信息系统的灾难恢复工作, 2005年4月国务院信息化办公室重要信息系统灾难恢复指南下发。指南主要从灾难恢复规划的管理、灾难恢复的需求分析、灾难恢复等级的确定、灾难恢复等级的实现、灾难恢复预案的制订、落实和管理等方面，对灾难恢复的规划和准备活动的规范化要求进行了全面的描述，规定了对重要信息系统的灾难恢复应遵循的基本要求。指南还以规范
5、性附录的形式对灾难恢复的等级划分进行了描述，并以资料性附录的形式对灾难恢复预案的框架进行了说明，是我国第一个灾难备份指导性文件，对各个行业的灾难恢复计划提出了明确的要求。它的出台使得我国的灾难备份更加趋于规范和标准，对于完善中国灾难备份市场具有深远的意义。 、2006年5月，中办下发的国家信息化领导小组关于推进国家电子政务网络建设的意见（简称中办发2006 18号文件）中，将保障国家电子政务网络和信息安全，作为电子政务建设的四项重要任务之一。 、2007年7月，国务院信息化工作办公室领导编制的重要信息系统灾难恢复指南正式升级成为国家标准信息系统灾难恢复规范（GB/T 20988-2007 ）。
6、这是中国灾难备份与恢复行业的第一个国家标准，并于2007年11月1日开始正式实施。信息系统灾难恢复规范规定了信息系统灾难恢复应遵循的基本要求，适用于信息系统灾难恢复的规划、审批、实施和管理。规范具体对灾难恢复行业相应的术语和定义、灾难恢复概述（包括灾难恢复的工作范围、灾难恢复的组织机构、灾难恢复的规划管理、灾难恢复的外部协作、灾难恢复的审计和备案）、灾难恢复需求的确定（包括风险分析、业务影响分析、确定灾难恢复目标）、灾难恢复策略的制定（包括灾难恢复策略制定的要素、灾难恢复资源的获取方式、灾难恢复资源的要求）和灾难恢复策略的实现（包括灾难备份系统计数方案的实现、灾难备份中心的选择和建设、专业技术
7、支持能力的实现、运行维护管理能力的实现、灾难恢复预案的实现）等内容作了具体描述。同时，在规范附录A对灾难恢复能力作了等级划分（共6级：第1级 基本支持，第2级 备用场地支持，第3级 电子传输和部分设备支持，第4级 电子传输及完整设备支持，第5级实时数据传输及完整设备支持，第6级数据零丢失和远程集群支持）；附录A对灾难恢复能力等级评定原则、灾难备份中心的等级等也作了规范要求。附录B对灾难恢复预案框架、附录C对相应行业 RTO/RPO与灾难恢复能力等级的关系比例作了规范要求。信息系统灾难恢复能力等级与恢复时间目标（RTO）和恢复点目标（RPO）具有一定的对应关系，各行业可根据行业特点和信息技术的应
8、用情况制定相应的灾难恢复能力等级要求和指标体系。总之，灾难备份作为信息安全的最后一道防线，已经得到电子政务主管信息部门的高度重视。1.3灾备建设目标信息系统灾难恢复规范（ 2007年7月国务院信息化办公室发布的国家标准GB/T 20988-2007信息系统灾难恢复规范）已经给需要做灾备的企事业单位一个明确的方向和思路。在灾备建设中需遵循三步七要素，三步即新建物理灾备中心、完成两个数据中心同步以及后期运维体系及决策，其覆盖了建设灾备系统所包含的七要素：备用基础设施、备用网络、数据备份系统、备用数据、技术支持、运行维护管理、灾难恢复预案。两者之间的关系如图所示： 灾备建设是以“恢复”为目标，“备份
9、”是手段。不同的业务系统，存在不同的安全需求、不同的保护等级，因此需要选取不同的灾备模式、不同的灾备标准，完善并实现各系统的灾难恢复。经过分析，灾备建设需要考虑的重点如下：灾备模式灾备类型不同，应对的策略也不尽相同。对于IT系统灾难和人为灾难，可以在本地数据中心或同城灾备中心完成灾难恢复；而对于自然灾害、社会灾难，则需要通过异地灾备系统，对业务运营进行保障。比较典型的方式是“两地三中心”，即设立主生产中心、同城灾备中心和异地灾备中心。建立异地灾备中心的优势在于它具有强大的跨地域灾难抗御能力，能够有效防止物理设备损伤所产生的灾难后果，同时实时数据复制提供强大的数据交换能力。由于信息系统应用规模越
10、来越庞大，同单位跨广域会有多个数据中心，如果单独建立一对一的灾备，在投入成本、管理、维护上显然存在极大难度。因此多对一的运营级灾备系统成为了灾备领域发展的重要趋势之一，目前在国内已有多个成功实践案例，也成为后续灾备领域的新兴关注重点。灾备等级灾难恢复等级的确定是信息系统灾备建设的重要考虑因素。信息系统灾难恢复规范将灾难恢复能力划分为6级，灾难恢复能力等级越高，对信息系统的保护效果越好，但同时成本也会急剧上升。因此，需要根据成本风险平衡原则（即灾难恢复资源的成本与风险可能造成的损失之间取得平衡），确定业务系统合理的灾难恢复能力等级。对于多个业务系统，不同业务可采用不同的灾难恢复策略。灾难本身是个
11、小概率事件，但影响却是巨大的，提高投资回报率是必须考虑的重点。因此，灾难恢复等级的确定是信息系统灾备建设的重要考虑因素。灾备等级主要从RTO（恢复时间目标）和RPO（恢复点目标）来考虑，需要对业务和数据进行重要性评估和分级，以确定相应的RPO和RTO目标。对于多业务系统要按需划分灾备等级，灾备等级应与业务和数据的重要程度相匹配。确定级别后，需要调研IT应用环境，确定合适的灾备技术，并检查灾备建设成本是否符合预算并作相应调整，最终达到保护等级与成本投资的平衡点，获得最高的投资回报率。根据对数据业务恢复的RPO和RTO的不同要求，灾备业务建设一般可分为：应用级灾备、数据级灾备和备份级灾备。保护等级
12、越高，成本会呈级数增长。没有任何一种技术或方法能适应所有业务的灾难备份需求，最好的解决方案是采用不同等级灾难备份与恢复的组合，实现最大业务范围的灾难恢复和最少的成本投入。1.4项目总体需求分析1.4.1系统现状描述系统及业务环境中复连众自2010年大力实施信息化建设以来，硬件基础环境、系统环境以及网络环境都获得了很大的改善。目前中复连众主要使用两个大的信息化系统：SAP ERP系统以及domino OA系统。ERP系统经过两年多的运行，目前数据量达到199996.12M，年数据增量约为37G， OA系统年度增长量为 60G。OA系统的上线期（2013.01）初数据量为：邮件数据 为42.9G，
13、系统数据 为2.23G。OA系统的当前(2014.04)数据量为：邮件数据为83.5G，系统数据为22.7G,合同评审附件5G TOMCAT服务器60M。中复连众数据全部集中存储在宋跳厂区科研楼2楼机房内，通过EMC CX4-240实现数据的集中存储。目前使用的备份软件系统是IBM Tivoli，备份磁带库是IBM TS3100，备份服务器是IBM 3650。此次项目中复连众有限制的服务器设备IBM P560一台，性能能够满足SAP系统的需求。数据备份窗口由中复连众工程师近期的检测发现，当前数据备份窗口时间已经由一年前的 5点左右结束，2-3小时的运行时间，推迟到了现在的8点54分，已经延生至
14、现在的上班工作时间，严重影响了系统日常的运作以及备份安全性，占用了大量的系统资源。图1.备份日志图2.备份明细现有拓扑结构图3.中复连众网络拓扑图图4.中复连众数据中心网络现状1.4.2系统需求描述服务器更新随着业务的增长，为了保证SAP服务器的运行流畅，对现有两台IBM P550小机进行升级、更新。数据迁移服务器升级随之而来的业务及相关数据移动工作，以保证新购服务器正常应用。数据级备份从数据安全角度分析，数据作为信息架构的核心，IT支撑系统在给中复连众内外部用户提供便利服务的同时，其业务运行也更加依赖于信息化系统的稳定运行，其结果是，一旦发生IT系统停止运行，那么关键业务系统将受到严重影响，
15、用户信息、业务记录等也随之丢失，特别因为水灾、火灾、地震等小概率自然灾害一旦到来，带来的损失是具有毁灭性，即使在本地有多份数据，都可能同时丢失。因此，小至一般性的硬件故障，大到区域性的自然灾害，从物理的设备不可用，到逻辑的人为失误和破坏，都可能造成整个信息系统的全面瘫痪，导致业务运营的停顿。为防患未然，现有SAP及OA数据需在大浦数据中心放置副本。对应连云港中复连众的数据安全要求是严格的，如何将RPO降到最低，这就需要一套完整的数据备份方案，当出现任何软、硬件故障的情况下，迅速的将备份走的数据恢复出来，保证数据的正常使用。为了提高数据的安全级别中复连众在分厂区（沈阳、大浦）也进行数据的安全保存
16、，需要解决方案有对异地数据备份的高效、安全的支持能力。应用级容灾在灾难备份与恢复行业国家标准信息系统灾难恢复规范中，将信息系统的灾难恢复能力划分为了6级，明确了RTO/RPO与灾难恢复能力等级的关系，在最高级（第6级）中要求RPO=0，RTO趋于0。从业务连续性角度分析，企业日常的办公、财务、等核心系统均部署在服务器中，一旦现有的后端存储系统出现硬件故障，前端业务将立即中断，并且，随着现有存储系统使用年限的增加，故障率越来越高，用户面对着可能随时业务中断的风险也越大，要求前端业务系统提供7*24小时的高可用性服务，业务运行不允许中断，系统一旦停机会给企业造成巨大的损失。中复连众的核心业务SAP
17、和OA都是不允许存在中断的风险，目前虽然做了主机的高可用，但是仍然存在单点的故障，当目前的EMC存储设备出现故障将会影响两大业务系统的运行。或者当机房出现断电、物理故障，可以在异地迅速的接管正常的核心业务系统。为业务连续性考虑，在大浦新建一个容灾机房，以满足SAP及OA的灾难性事情发生时切换，以保证业务的24小时不间断。高性能存储考虑到SAP服务器更新、容灾中心数据备份及应用级容灾考虑，需新加存储，其存储空间能满足五年的数据增长。从SAP、OA系统的性能需求角度分析，按照前端业务特点和数据类型，可大致分为两类：服务器虚拟化，数据库服务。主机虚拟化业务访问存储系统的特点： （1）随机性，虚拟机运
18、行的业务类型多样，I/O绝大部分为随机I/O。 （2）突发性，可能同一时间访问量很大，特别是上千个虚拟桌面同时启动带来的“启动风暴（即当大量的用户同时登录系统时所造成的系统反应非常缓慢，桌面启动时间长）”问题或前端部署了大规模应用，同时并发访问。 （3）灵活性，虚拟机部署在不断调整（虚拟机优势）。数据库服务业务访问存储系统的特点： （1）安全性，保证数据不能丢失。 （2）稳定性，业务不可中断性。 （3）性能要求高，特别是IOPS的要求，小文件随机读写为主。服务器及服务器端业务一方面将产生的数据写到存储，另一方面从存储设备上读取所需数据，特别是现有数据库及虚拟化业务对随机读写数据、小数据块读写，
19、对存储缓存要求更高，面对业务密集型应用，更容易产生突发的数据冲击，服务器及业务量越多，读写数据就越多，对存储设备的IOPS要求就越高，因此需要更高的缓存来处理；一般的，服务器的缓存越大，代表着其处理性能越强，对后端存储要求更高，需要存储配置相应缓存，提升存储的整体性能，满足前端业务IO访问需求。网络加速针对IP连接大浦，且为2M带宽，为保证应用级容灾同步问题，以解决带宽不足带来的风险。复杂型需求中复连众的现实环境较为复杂，数据保护复杂性是比较高的。一切围绕着RPO和RTO这两个重要的指标外，还需要考虑到诸多因素。统一性管理：现状的复杂环境，势必需要有一个统一的数据保护平台，利于对所有数据的管理
20、，减少IT部门的人力投入。数据备份代理类型：中复连众采用的系统平台和数据库都多样化，数据结构也是复杂的，如何在统一的保护平台中对各种数据库和结构有针对性的备份，对数据备份平台的技术支持范围有较高的要求。灵活的备份手段和机制：数据备份的目的是保护数据业务，而不能对业务运行产生影响，要为备份作业提供灵活的控制，需要为统一数据保护平台提供灵活的的备份手段和机制。恢复流程：当数据出现故障的情况下，能高效快速的自动恢复，是对RTO要求的直接反应。报表提供：对于统一的数据保护平台，提供相应的数据和介质设备、备份资源状态、恢复操作等汇总信息，利于信息管理人员进行统计和审核工作。监控能力：因为业务是时时刻刻进
21、行的，所以必须要有时时观测业务环境的可视化控制台，让所有的操作和业务运行状态得到自动和手动的监控管理。结合中复连众每个业务应用的具体RPO和RTO需求，和复杂环境下各种参数需求，联成科技提供以下整体的系统保护解决方案，力保当出现系统故障时候，迅速的得到恢复，保证业务服务的正常运行。1.5项目总体建设目标及建设原则1.5.1系统建设目标按照统一规划、统一管理、分步实施的建设思路，中复连众单位数据处理中心规划在优化本地的数据集中存储和备份的前提下，同时利用现有的广域网网络环境，在不影响现有业务应用的条件下，为中复连众单位业务系统建立完备的异地数据及生产应用容灾系统。总体上，此次备份容灾系统的建设将
22、至少达到如下目标：高性能双活存储系统实现高性能数据集中存储、有效保护，实现基于SAN网络层的数据镜像，数据中心两套主存储实现双活和存储虚拟化；本地存储故障时，要求实现数据无丢失、应用不中断，即RPO=0、RTO=0；实现OA/MAIL等应用系统虚拟化集群及容灾，容灾级别必须达到GB20988-2007-T 信息安全技术 信息系统灾难恢复规范，所规定的三级容灾级别，和三级容灾中心建设。备份容灾系统实现数据中心存储内的数据基于现有网络线路的远程备份，以最小的带宽代价实现数据备份；在主数据中心大浦的存储和远程容灾存储之间实现基于磁盘阵列的数据块层次的数据复制，可以定制符合现有IP网络环境的复制策略，
23、以最小的网络带宽代价实现快速的数据恢复或业务切换;持续数据恢复功能连续数据保护系统(CDP)，采用“带外”基于网络的应用装置，不在主机到存储的主 I/O 路径中。实时对写I/O监控和复制保护，不影响主机性能。要求提供原厂商彩页证明和原厂商官方网站证明。可以实现对物理和数据逻辑故障的恢复，逻辑故障包括：数据库逻辑错误、人为误操作和病毒等引起的数据库数据丢失、人为或病毒引起的数据库崩溃等故障。提供一致性组功能，可以将某个特定应用程序的所有LUN绑定到一个一致性组中，以确保事务向以前时间点的回滚同时进行，从而确保应用程序的一致恢复。1.5.2项目建设原则为了全面保证各单位数据中心建设目标，在数据中心
24、存储系统规划、建设、实施、运行和完善的过程中，必须应遵循以下建设原则：（1）开放性：系统符合开放性设计原则，具备优良的可扩展性、可升级性，可以支持开放系统平台，运行于现有的技术标准之上；（2）兼容性：与现有系统需要完全兼容，各个构成子系统必须紧密衔接、高度集成，构成一个整体；（3）稳定性：要保证系统运行的稳定性，使系统运行风险降至最低；（4）技术先进性：系统设计应采用当前先进而成熟的技术，不仅可以满足本期工程的需求，也应把握未来的发展方向。（5）可扩充性：在系统设计时应充分考虑可扩充性，从而确保新功能、新业务的增加在原有的系统平台上扩展和实现。（6）高可靠性：系统平台具有高可靠性，支持服务器平
25、台的高可用性集群技术；具备先进的容灾的设计；充分保证系统的高扩展能力和高容错能力，具有通道负载自动均衡能力和存储系统性能调节能力，提供极为充分的可靠性各项指标设计。（7）高可用性：在不停机情况下，实现不停机扩容、维护、升级等服务，提高性能以满足新的业务需求。具备724365连续工作的能力，系统的可用性应大于99.999。在自动化管理软件支持下可以实现磁盘数据的在线（不停机）备份。（8）成熟性：应尽量选用经过大量运用、成熟可靠的系统。（9）可实施性：选用成熟的技术，成熟的案例经验和设计方案，制定详细的技术实施方案。（10）经济性原则：在满足所有需求的前提下，选择最合适的设备及管理软件，使系统具有
26、较好的性价比。（11）充分保护用户现有投资：采用先进技术，将现有存储系统无缝的整合在新系统中，实现对用户现有设备的有效利用，达到保护用户现有投资的目标。1.6项目总体方案设计及技术说明1.6.1项目总体规划方案设计针对以上项目建设目标，本次推荐采用以下高性能双活数据中心容灾备份解决方案。（1）在宋跳机房新增两台对称双活存储系统MS3100替换原有存储CX4-240，将原存储上的数据迁移至新存储MS3100，通过配置大容量缓存提升MS3100整体性能，提供高效数据支撑能力，同时，确保当主存储系统MS3100出现故障时，前端SAP及OA等所有业务系统可自动切换到镜像存储MS3100上，最大限度减少
27、数据的丢失量（包括RPO=0），最快速度的恢复关键应用系统（RTO=0），提高信息系统的整体服务级别。（2）针对原有CX4-240存储的利旧，新增一台宏杉科技存储虚拟化CDP网关VS2100，可继续对老存储的空间与新增存储资源进行统一管理，并且，实现将主存储生产数据持续保护到原有存储CX4-240上，应对实时的逻辑故障，做到基于IO级的数据恢复。（3）新增一台赛门铁克备份一体机NBU3250，将主存储数据实现基于多种丰富备份策略的近线备份，再与原有磁带库实现D2D2T备份，做到多重数据保护。（4）在异地远程灾备中心大浦机房配置一套MS2520i作为灾备系统，通过在存储底层的复制容灾软件，将宋跳
28、主存储MS3100上的数据灾备到大浦，一旦宋跳数据中心两台存储系统的数据均丢失，在异地留有一份数据副本，进一步提高数据安全。（5）原有的OA系统等业务系统，通过部署VMware服务器虚拟化环境，两台IBM X3850服务器上各创建5个左右虚拟机，将应用部署在虚拟机上，并且，VMware可创建集群、支持虚拟机迁移等多种高级VMotion功能，提高应用安全。1.6.2项目总体方案拓扑图图5. 方案总体系统架构拓扑图1.6.3双活存储系统方案说明根据业务系统的存储特点，以及7*24小时不间断业务系统的需求，搭建一个高安全、高性能、高可用、扩展灵活、管理简单的统一存储平台，从而前端数据的集中整合，提升
29、系统连续性和数据安全性，降低管理维护成本，实现投资保护。同时通过基于存储底层的本地双活技术SDAS实现数据的实时同步，前后端均配置多路径冗余链路，当主存储发生故障时，镜像存储可自动接管前端业务系统，RTO、RPO均为0。方案描述针对以上对业务RPO、RTO均为0的业务连续性需求，宏杉科技推荐采用以下双活存储解决方案。新增两台存储系统MS3300，采用对称配置方式，两台存储之间完成数据的实时同步，一旦当主存储系统MS3300出现故障时，镜像存储系统MS3300可自动将前端业务切换过来，最大限度减少数据的丢失量（包括RPO=0），以最快速度在数据中心恢复关键应用系统（RTO=0），提高业务系统的整
30、体服务级别和业务连续性。存储引擎A：新增一台在线高性能存储MS3300：针对目前本项目的各业务系统对存储性能的需求，我们建议新增一套宏杉科技自主研发的MacroSAN MS3300存储产品用于存放各在线应用系统基础数据，用于承载前端核心业务等：配置双冗余控制器支持Active/Active负载均衡；同时配置SAN、NAS功能；此次配置32GB缓存，提高存储的整体性能，满足数据库及虚拟化业务的IO读写性能需求；8个8Gb FC主机接口，10个万兆IP主机接口用于做两台存储之间数据镜像交叉直连。配置13块10000转600GB 企业级SAS硬盘，12块2TB 7200转企业级SAS硬盘，总容量为3
31、1TB。配置基于磁盘阵列底层的数据双活功能SDAS软件，完成数据中心A与数据中心B之间两台存储引擎数据实时同步，一旦存储引擎节点A故障，引擎节点B存储可自动将前端业务系统进行接管，无需人为干预，数据零丢失，RTO、RPO均为0，并且，前端无需配置任何第三方软、硬件，部署简单，屏蔽了前端主机物理特性及应用类型特性（适用于所有应用）；存储引擎B：新增一台镜像存储MS3300。本次双活数据中心平台搭建，要求镜像存储与主存储配置完全一致，保障系统可实现自动切换且两套系统无任何性能、容量等差异，切换过程中，前端用户体验无任何变化感知，RTO、RPO均为0，达到应用级容灾。双活存储工作机制：两台存储系统同
32、时处于工作状态，非“一主一备”模式，主机可以通过主、镜像存储同时进行数据读写。并且，两台存储也可以承载不同的应用，相互镜像，达到真正的双活目标，两台双活存储系统做到负载均衡的作用，降低主存储应对前端数据读写压力，实现数据分流作用。MS3300采用双控制器架构，控制器、磁盘柜、缓存、硬盘等关键组件都采用冗余设计，保障系统的5个9的高可靠性。MS3300的体系架构有如下技术特点：SAS传输通道：MS3300采用SAS传输技术构建磁盘阵列内部的数据传输通路，后端磁盘通道总带宽达到96Gb；高性能存储控制器：为了保障处理能力，MS3300在存储控制器中采用了多核、PCI-E2.0总线等技术，相比传统控制器，能提供3倍以上的处理能力；千兆/万兆/8Gb FC主机接口：在前端主机接口上，MS3300可根据需要提供
