数据迁移整合方案.docx
- 文档编号:26925599
- 上传时间:2023-06-24
- 格式:DOCX
- 页数:19
- 大小:46.57KB
数据迁移整合方案.docx
《数据迁移整合方案.docx》由会员分享,可在线阅读,更多相关《数据迁移整合方案.docx(19页珍藏版)》请在冰豆网上搜索。
数据迁移整合方案
1.历史数据的迁徙整合
本次系统是在原有系统的基础上开发达成,所以,新旧系统间就存在着切换
的问题。
此外,新开发的系统还存在与其余一些应用系统,比如,公司信誉联网
应用系统、公司登记子网站、外资登记子网站等系统进行整合使之成为一个互相
连通的系统。
本章将针对新老系统迁徙和整合提出解决方案。
1.1.新老系统迁徙整合需求剖析
系统迁徙又称为系统切换,即新系统开发达成后将老系统切换到新系统上来。
系统切换得主要任务包含:
数据资源整合、新旧系统迁徙、新系统运行监控过程。
数据资源整合包含两个步骤:
数据整理与数据变换。
数据整理就是将原系统数据整理为系统变换程序能够识其余数据;数据变换就是将整理达成后的数据依照必定的变换规则变换成新系统要求的数据格式,数据的整合是整合系统切换的关
键;新旧系统迁徙就是在数据正确变换的基础上,拟订一个确实可行的计划,保证业务办理顺利、安稳过渡到新系统中进行;新系统运行监控就是在新系统正常运行后,还需要监控整个新系统运行的有效性和正确性,以便实时对数据变换过程中出现的问题进行纠正。
系统整合是针对新开发的系统与保存的老系统之间的整合,以保证新开发的系统能与保存的老系统互动,保证业务的顺利展开。
主要的任务是接口的开发。
1.2.需要进行迁徙整合的系统
1.3.数据迁徙整合剖析
依据招标文件工商总局新建系统的数据库鉴于IBMDB2,而原有系统的数据库包
括ORACLE,SQLServer,DB2。
这类异构数据在总局主要存在于两个方面,即部
门内部的异构数据和上下级部门之间的异构数据。
同时,系统的技术构件有.NET
和J2EE两大类。
关于部门内部的异构数据的集成采纳数据移植的方法,如:
假如数占有鉴于DB2
管理的,有ORACLE管理的,有SQLServer管理的,就依据新系统DB2的要求,
把ORACLE的数据迁徙到DB2数据库中,把SQLServer的数据迁徙到DB2数据库中。
上下级国工商局之间的异构数据的集成利用数据互换系统来达成,要点在于数据库储存标准、互换标准的拟订和恪守,保证数据的共享,这部分工作由数据中心达成。
1.4.系统迁徙和整合目标
1.4.1.系统迁徙的主要目标:
1.保证系统正常运行
在数据变换过程中,因为原有的系统数据的复杂性,给数据变换工作带来了很大的难度,为了在新系统启动后不影响原系统正常的业务,所以数据变换达成后,一定保证新系统的正常运行。
2.保证原有系统在新系统中的独立性
原有系统是独立运行的系统,数据在新系统中固然是集中寄存的,但是各个系统因为存在业务上的差异,数据在逻辑上应当保持必定的独立性。
1.4.2.系统整合的目标:
保证直接关系的系统互动,保证业务的正常办理。
比如民众服务系统与基本业务
系统之间互动,基本业务与共同业务之间互动等等。
1.5.系统切换方案
1.5.1.系统切换工作流程
系统切换包含先期调研、数据整理、数据变换、系统切换、运行监控五个阶
段。
系统切换的整个工作流程以下所示。
1.5.2.系统切换工作步骤
1.先期调研阶段
先期调研是数据变换中很重要的一个步骤,也是至关重要的一部分。
在进行数据变换工作前,我们需要先仔细阅读系统的有关文档,如《数据词典》、《系统纲要设计报告》等,来熟习原有的系统。
自然在阅读文档的过程中必定还会有理解不清楚的地方,这时还需要熟习原有系统的工程师的帮助。
数据变换的先期工作就是对原系统做一次完全的全面认识,主要需要的考虑的有下边一些状况:
1)原系统的网络构造;
2)原系统的业务范围、存在几套业务系统以及他们之间的关系;
3)原系统的开发商、开发工具、开发平台以及采纳的数据库;
4)原系统的数据散布状况:
包含数据范围、数据量大小等;
5)原系统的业务流程;
6)原系统的数据流程;
7)原系统的数据构造;
在认识这些因素的基础上,需要编写《先期调研剖析报告》。
调研报告主要包含以下一些方面:
1、将所有数据表进行分类,如系统参数类、代码类、综合业务类、有关业务类
等等。
2、对所有数据表的数据构成、数据根源、用途等进行描绘。
3、并不是所有的数据都是需要进行变换的,在《数据词典剖析报告》中要指出那
些数据表是需要进行变换的,那些是不需要进行变换的,关于不需要变换的表要
说明不需要变换的原由。
4、描绘数据在各表中的流向,关于要点的或复杂的业务点要做详尽说明。
2.变换设计阶段
变换设计阶段主假如达成新旧数据词典的比较,同时明确各个表中详细数据字段的变换方式。
在变换设计阶段主假如编写《数据词典比较报告》
《数据词典比较报告》主要描绘新旧系统数据表间的比较关系以及代码比较关
系。
以新系统为准,原系统作参照,将原系统的数据词典对应到相应的系统数据词典中。
在比较过程中,需要依照数据照搬原则,数据尽量不要作办理。
在数据词典比较表中需要进行变换的数据字段应当一一对应,对新旧数据表中字段的名称、种类、精度等都要有详尽的描绘,同时还要明确数据的变换方式。
数据变换方式主要有以下几种:
1)直接变换。
直接变换方式是最常用的方式,就是将原表中对应字段的数据纹丝没动的搬到新表中来。
依照“数据照搬”原则,我们应当应当尽量采纳这类方法。
2)程序变换。
对那些需要进行计算才能进行变换的数据将采纳程序变换方式进行。
3)代码比较。
某些代码字段,常常新旧系统的编码不同样,这时就需要参照代码比较表进行代码比较变换。
4)种类变换。
少量数据可能需要对种类进行变换,如就表以字符串‘YYYY-MM-DD’来寄存日期,而新表中以DATE型来寄存日期,这时就需要进行种类变换。
5)常量变换。
新表中某些字段可能存在缺省值,这时将采纳常量变换方式,当旧表没有对应字段或旧表对应字段数据为空时,将直接在新表中写入缺省数据。
6)不变换。
关于旧表有但新表中没有的字段将不作任何变换。
7)新旧系统代码比较列出了所有需要进行变换的新旧系统数据表中存在的二级代码间的比较关系,主要以二级代码比较表的形式来反应。
1.6.数据迁徙方案
1.6.1.数据整理策略
数据整理就是将原系统数据整理为系统变换程序能够识其余数据。
数据整理大概分为两个阶段:
第一阶段就是将不同种类根源数据收集备份到一致的数据库中;第二阶段就是将原始数据进行整理,依照不同的要求分类进入不同的中间数据库,为数据变换供给中间数据。
数据整理过程采纳了以下方法:
1.保证原始数据的完好性
在进行数据整理之间,我们先需要对原始收集数据进行备份。
备份的目的有两个:
一个是一致数据库,便于数据变换,另一个就是为此后数据追根溯源供给参照依照。
在本系统中,我们将采纳DB2作为备份一致数据库。
2.数据分级过滤策略
数据分级过滤就是把数据依照不同的数据级别进行分类整理进入不同的中间数
据库中。
本系统中我们把数据分为三个级别:
荒弃数据、待调整数据、可变换数
据。
荒弃数据就是该部分数据的存在对系统资源造成浪费的数据,并且会影响以
后系统的运行。
待调整数据就是该部分数据严重影响新系统的运行,一定进行人
工调整后,方可进行数据变换。
可变换数据就是该部分数据不需做任何办理,基本知够数据变换的要求或许是该部分数据新系统建议调整,但是不影响系统的运行,能够等新系统运行后再调整,这样能够为数据变换工作节俭好多时间。
3.借助数据整理有关工具
数据整理特别艰巨,波及的数据量很大,经过人工检查是不行能达成的,所以一定编写有关的数据整理工具达成数据整理。
包含数据整理工具和数据纠错工具。
数据整理工具负责将原始备份数据库中的数据进行分类进入不同的中间数据库;数据纠错工具负责供给友善、方便的工具界面供用户方有关人员完美和纠正错误数据。
4.利用中间库作为桥梁
因为原系统和新系统的数据库构造可能不同样,所以采纳中间库作为连接新旧系统数据的重要桥梁,关于成立新旧系统的比较关系很重要。
一旦业务人员对新系统中某项变换数据存在疑问的状况下,就能够经过中间库的关系,顺利找出原数据。
1.6.2.数据变换
数据变换就是将整理后的数据,依照比较表的要求进行变换,并写入到新系统。
这个过程能够经过互换系统实现。
1.6.3.数据整理与变换步骤
1.设计数据移植方案
设计数据移植方案主要包含以下几个方面工作:
研究历史数据的构造、根源、数
据项定义、取值等现状,研究新旧数据库构造的差异,评估和选择数据移植的软
硬件平台、选择数据移植方法、选择数据备份和恢复策略、设计数据移植和测试
方案等。
2.源数据库数据清理
关于一个运行已久的数据库,主要存在三种数据库垃圾:
数据库对象垃圾、数据库权限垃圾、数据垃圾。
数据库对象的清理不是一件简单的工作,需有仔细负责的态度,要有耐力,任何错误的清理不单会造成前端不可以运行,并且将会造成数据的丢掉。
所以清理数据库对象或许需要一个安全、正确,可很快恢复的方法。
第一要认识数据库资源,包含数据库对象,如表、数据库事件、过程、函数,数
据库构造关系,在此基础上联合运行系统,确认数据库垃圾,拟订合理的垃圾清理方案,达到清理垃圾的目的。
主要方法是对数据库数据进行整合和分解,整合有关数据减少量据的重复,分解数据则但是数据集体更趋势合理,自然整合和分解要以合适新设计的数据库构造为基础,以便简化转变程序。
3.进行数据模拟移植
依据设计的数据移植方案,成立一个模拟的数据移植环境,它既能仿真切际环境又不影响实质数据,而后在数据模拟移植环境中测试数据移植的成效。
数据模拟移植前也应按备份策略备份模拟数据,以便数据移植后能按恢复策略进行恢复测试。
4.测试数据模拟移植
依据设计的数据移植测试方案测试数据模拟移植,也就是检查数据模拟移植后数
据和应用软件能否正常,主要包含:
数据一致性测试、应用软件履行功能测试、
性能测试、数据备份和恢复测试等。
5.准备实行数据移植
数据模拟移植测试成功后,在正式实行数据移植前还需要做好以下几个方面工
作:
进行完好数据备份、确立数据移植方案、安装和配置软硬件等。
6.正式实行数据移植
依照确立的数据移植方案,正式实行数据移植。
1.7.数据整理和变换的要点技术
关于多源异构数据库之间的数据变换,因为目标数据库的格式和拘束的限制严格,直接编写变换程序实现困难,可在原有数据库系统中编写变换程序。
关于源数据库、目标数据库构造有差异的数据,成立中间过渡库,中间库在原数据库平台中成立,但构造与目标数据库的构造同样。
将源数据库转入中间库的过程是一个数据的从头组合和关系的过程,将是变换的中心和要点工作,需要对源数据库与新数据库的数据关系进行深入剖析,对每一个数据库写出变换策略。
非空办理:
关于应当非空但实质为空的记录拟订办理规则。
取值拘束办理:
关于有取值范围拘束的字段进行规范化办理,马上变换后的数据取值规范到该范围内。
主键办理:
从头对中间库进行编号。
填写外键:
每个数据库或多或少存在外键,外键越多,注明与其余库关系越多,这样的库应后办理;反之,外键越少的库应当先办理。
独一键办理:
对要求独一的数据项(主键、独一键)进行独一检测,并对检测出的不独一的记录,拟订办理规则。
附带分别办理:
对某些表中的某些字段进行数据规范化办理,马上不合规范的数据替代成规范的数据,几个表之间的关系办理,以及一些特别办理等。
数据一致性办理:
关于有多个数据源的数据进行一致性检查,拟订办理规则。
1.8.新旧系统切换
第一步:
编写《系统切换方案》。
系统切换方案包含系统切换方法、系统切换计划等内容。
第二步:
组织有关人员对《系统切换方案》进行评审,假如未经过,则需要调整
系统切换方案。
第三步:
进行业务系统数据变换。
在进行业务系统数据变换前,需要先选择一个时间点进行业务系统数据收集。
该
时间点的选择以达成一个完好的业务周期为准。
l变换机遇
依据过去的经验,我们建议将正式数据变换的时间放在月结刚才达成后并且最好
是节假日。
l准备工作
正式数据变换前的准备工作是特别多的,现列举以下:
编写详尽的《数据变换指南》。
《数据变换指南》应当是在前面的几次试变换过程中编写并完美的,要详尽说明数据变换的全过程,包含:
准备工作、履行步骤、注意事项等。
编写履行脚本。
在前面几次试变换的基础上编写并完美好数据变换履行脚本。
履行脚本包含:
变换履行脚本、考证履行脚本等。
所有的脚本都一定安装履行的先后次序编写,在正式变换时将依照次序来履行。
数据库环境准备。
依据过去的经验,在正式变换阶段出现的异样常常都是有数据库方面的,大多数是因为数据库环境没有准备好。
数据库方面需要做好以下几方面的准备:
表空间区分、大数据文件准备、大回滚段准备、创立索引等。
其余必需准备。
在正式变换前,老系统要停止使用,同时在还需要把老系统的数据做一次完好的备份。
l履行过程
数据变换时将依照已经编写好的变换履行脚原来进行。
对没一步的操作都要做好日记记录,日记分两种,一种是计算机自动产生的日记,如LOG文件;另一种是在变换履行过程中手工做的记录。
在正式变换时,要求起码两人一同工作,此中一人负责操作,此外一人负责监察,两人都一定做好记录。
每履行完一条变换命令后都需要去查察一些错误记录表,假如出现异样错误信
息,需要暂停变换履行,对错误剖析办理完成后才能持续履行。
l考证过程
变换履行结束后,需要对变换的结果进行考证,考证时依照已经编写好的考证脚原来进行,考证最好由两名以上的人员分开来进行,在考证过程中做好每一步的考证记录。
假如在考证过程中没有发现异样,并且几名考证人员的考证记录都特别一致,则能够认为已经经过考证。
l扫尾工作
数据变换工作履行完成后,需要对封闭原有系统所有的业务经办功能,只开发查问功能,以便业务人员在需要时能够持续查问旧系统中的数据。
对新系统的数据进行一次物理备份,同时启动新系统数据库的重做日记功能。
到此时为止新旧系统数据变换工作所有结束,整个应用系统将切换到新系统上来运行。
第四阶段:
新系统运行监控及数据整理
在所有新系统安稳运行后,还需要进行按期的运行监控以及对部分数据进行调
整。
关于那些对系统运行未造成影响的,在数据整理过程中,没有进行数据修正,所以在系统安稳运行后,需要对这些数据进行调整。
1.9.系统切换保障举措
系统在整个切换过程中,安全、安稳过渡是第一位的。
我们将采纳以下举措保证系统切换安全:
a)数据备份
在进行新旧系统数据变换时,对原系统数据进行备份以保证历史数据的可追忆
性。
一旦在新系统中业务办理出现问题,则能够经过追忆历史数据来判断是数据变换错误,仍是新系统程序存在BUG。
2.数据测试
数据测试分为两个层次测试,一个是数据监测性测试,就是在数据变换达成后,
测试数据的变换正确性;二是考证性测试,考证性测试经过使用已经经过功能测试的新系统办理实质业务来考证数据变换的正确性。
数据测试是一个要点环节,关系到系统切换的成功与否,所以一定加大测试力度来保证数据变换的正确性。
而与数据测试有关的系统功能测试也一定重视,因为假如系统功能假如存在问题,则数据测试也就没法保证正确性。
3.切换点的选择
系统在什么时候进行切换,也是一个很要点的问题。
一般状况下,我们都选择一个业务周期结束,下一个业务周期开始的时候进行切换。
4.切换方式的选择
系统切换有两种方式,一种是新旧系统并轨运行,一种是新系统单轨运行。
关于第一种方式旧系统为主,新系统为辅,在机遇成熟的时候在切换到新系统运行;
第二种是以新系统为主,旧系统为辅,旧系统不过考证新系统业务办理的正确与否。
第一种方式安全系数因为过渡期时间会很长,业务人职工作量很大,而第二种因为直接采纳新系统,存在必定的风险,我们能够经过加大测试力度来降低风险。
综上所述,我们建议采纳第二种方式,就是新系统为主,原系统为辅的方式。
5.应急方案
在特别状况下,因为某种原由致使系统没有能够正常切换或许切换此后系统运行不稳固,在这类状况下,一定启动应急方案来解决。
详细应急方案以下:
应急方案需要从业务系统、数据库、网络平台三个方面来考虑应急办理举措,只有三方面同时恢复到系统切换前的状态,才能保证原系统业务经办的正常进行。
业务应用系统应急举措主假如在业务经办时保存原业务应用系统,并且保证原业务应用系统的客户端配置环境能够在最短时间内恢复到从前的配置;数据库应急举措就是利用原始数据与原系统保持一致来办理的,也就是在新系统数据库中保存备份,并且依照原系统数据集中状况下分不同用户寄存备份数据,但是用户名仍需要采纳原数据库系统用户名。
一旦出现紧迫状况,新系统数据库立刻切入原备份数据库;网络平台应急方案就是保证在数据大集中状况下整个社会保障网络
链路的通畅即可。
1.10.系统切换过程中需注意的问题
1.最大限度的保证原系统数据变换到新系统中,即便是对错误数据进行一些办理,而后在新系统中调整。
2.新旧系统的对应关系必定要完好。
3.原系统的数据在新系统中必定要有备份,不可以数据变换达成此后就将原系统数据删除去。
原系统备份数据起码保存一年的时间。
4.新系统开发过程中,数据变换负责人必定要与软件项目负责人保持常常交流,以保证变换数据的正确性。
同时软件项目负责人熟习原系统的业务流程和用户的习惯操作方式也是有必需的。
5.数据质量测试是特别重要的一个环节。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 迁移 整合 方案