新老系统迁移及整合方案Word格式.docx
- 文档编号:21679280
- 上传时间:2023-01-31
- 格式:DOCX
- 页数:9
- 大小:33.87KB
新老系统迁移及整合方案Word格式.docx
《新老系统迁移及整合方案Word格式.docx》由会员分享,可在线阅读,更多相关《新老系统迁移及整合方案Word格式.docx(9页珍藏版)》请在冰豆网上搜索。
5、通用信息查询、统计系统与数据采集转换之间得整合;
1.1.3数据迁移与转换分析
根据招标文件工商总局新建系统得数据库基于IBMDB2,而原有系统得数据库包括ORACLE,SQLServer,DB2。
这种异构数据在总局主要存在于两个方面,即部门内部得异构数据与上下级部门之间得异构数据。
同时,系统得技术构件有、NET与J2EE两大类。
对于部门内部得异构数据得集成采用数据移植得方法,如:
如果数据有基于DB2管理得,有ORACLE管理得,有SQLServer管理得,就根据新系统DB2得要求,把ORACLE得数据迁移到DB2数据库中,把SQLServer得数据迁移到DB2数据库中。
上下级国工商局之间得异构数据得集成利用数据交换系统来完成,重点在于数据库存储标准、交换标准得制定与遵守,保证数据得共享,这部分工作由数据中心完成。
1.2系统迁移与整合目标
一、系统切换得主要目标:
●保证系统正常运行
在数据转换过程中,由于原有得系统数据得复杂性,给数据转换工作带来了很大得难度,为了在新系统启动后不影响原系统正常得业务,因此数据转换完成后,必须保证新系统得正常运行。
●保证原有系统在新系统中得独立性
原有系统就是独立运行得系统,数据在新系统中虽然就是集中存放得,但就是各个系统由于存在业务上得差别,数据在逻辑上应当保持一定得独立性。
二、系统整合得目标:
保证直接关联得系统互动,保证业务得正常办理。
例如公众服务系统与基本业务系统之间互动,基本业务与协同业务之间互动等等。
1.3系统切换方案
1.3.1系统切换工作流程
系统切换包括前期调研、数据整理、数据转换、系统切换、运行监控五个阶段。
系统切换得整个工作流程如下所示:
图91系统切换流程示意图
1.3.2系统切换工作步骤
1.3.2.1前期调研阶段
前期调研就是数据转换中很重要得一个步骤,也就是至关重要得一部分。
在进行数据转换工作前,我们需要先认真阅读系统得相关文档,如《数据字典》、《系统概要设计报告》等,来熟悉原有得系统。
当然在阅读文档得过程中肯定还会有理解不清晰得地方,这时还需要熟悉原有系统得工程师得帮助。
数据转换得前期工作就就是对原系统做一次彻底得全面了解,主要需要得考虑得有下面一些情况:
1、原系统得网络结构;
2、原系统得业务范围、存在几套业务系统以及她们之间得关系;
3、原系统得开发商、开发工具、开发平台以及采用得数据库;
4、原系统得数据分布状况:
包括数据范围、数据量大小等;
5、原系统得业务流程;
6、原系统得数据流程;
7、原系统得数据结构;
在了解这些要素得基础上,需要编写《前期调研分析报告》。
调研报告主要包含如下一些方面:
1、将所有数据表进行分类,如系统参数类、代码类、综合业务类、相关业务类等等。
2、对所有数据表得数据组成、数据来源、用途等进行描述。
3、并非所有得数据都就是需要进行转换得,在《数据字典分析报告》中要指出那些数据表就是需要进行转换得,那些就是不需要进行转换得,对于不需要转换得表要说明不需要转换得原因。
4、描述数据在各表中得流向,对于关键得或复杂得业务点要做详细说明。
1.3.2.2转换设计阶段
转换设计阶段主要就是完成新旧数据字典得对照,同时明确各个表中具体数据字段得转换方式。
在转换设计阶段主要就是编写《数据字典对照报告》
《数据字典对照报告》主要描述新旧系统数据表间得对照关系以及代码对照关系。
以新系统为准,原系统作参照,将原系统得数据字典对应到相应得系统数据字典中。
在对照过程中,需要遵循数据照搬原则,数据尽量不要作处理。
在数据字典对照表中需要进行转换得数据字段应该一一对应,对新旧数据表中字段得名称、类型、精度等都要有详细得描述,同时还要明确数据得转换方式。
数据转换方式主要有以下几种:
1、直接转换。
直接转换方式就是最常用得方式,就就是将原表中对应字段得数据原封不动得搬到新表中来。
按照“数据照搬”原则,我们应该应该尽量采用这种方法。
2、程序转换。
对那些需要进行计算才能进行转换得数据将采用程序转换方式进行。
3、代码对照。
某些代码字段,往往新旧系统得编码不相同,这时就需要参照代码对照表进行代码对照转换。
4、类型转换。
少数数据可能需要对类型进行转换,如就表以字符串‘YYYY-MM-DD’来存放日期,而新表中以DATE型来存放日期,这时就需要进行类型转换。
5、常量转换。
新表中某些字段可能存在缺省值,这时将采用常量转换方式,当旧表没有对应字段或旧表对应字段数据为空时,将直接在新表中写入缺省数据。
6、不转换。
对于旧表有但新表中没有得字段将不作任何转换。
新旧系统代码对照列出了全部需要进行转换得新旧系统数据表中存在得二级代码间得对照关系,主要以二级代码对照表得形式来反映。
1.3.2.3数据迁移
一、数据整理策略
数据整理就就是将原系统数据整理为系统转换程序能够识别得数据。
数据整理大致分为两个阶段:
第一阶段就就是将不同类型来源数据采集备份到统一得数据库中;
第二阶段就就是将原始数据进行整理,按照不同得要求分类进入不同得中间数据库,为数据转换提供中间数据。
数据整理过程采用了以下方法:
●确保原始数据得完整性
在进行数据整理之间,我们先需要对原始采集数据进行备份。
备份得目得有两个:
一个就是统一数据库,便于数据转换,另一个就就是为以后数据追根溯源提供参考依据。
在本系统中,我们将采用DB2作为备份统一数据库。
●数据分级过滤策略
数据分级过滤就就是把数据按照不同得数据级别进行分类整理进入不同得中间数据库中。
本系统中我们把数据分为三个级别:
废弃数据、待调整数据、可转换数据。
废弃数据就就是该部分数据得存在对系统资源造成浪费得数据,并且会影响以后系统得运行。
待调整数据就就是该部分数据严重影响新系统得运行,必须进行人工调整后,方可进行数据转换。
可转换数据就就是该部分数据不需做任何处理,基本满足数据转换得要求或者就是该部分数据新系统建议调整,但就是不影响系统得运行,可以等新系统运行后再调整,这样可以为数据转换工作节省很多时间。
●借助数据整理相关工具
数据整理非常艰巨,涉及得数据量很大,通过人工检查就是不可能完成得,因此必须编写相关得数据整理工具完成数据整理。
包括数据整理工具与数据纠错工具。
数据整理工具负责将原始备份数据库中得数据进行分类进入不同得中间数据库;
数据纠错工具负责提供友好、方便得工具界面供用户方相关人员完善与纠正错误数据。
●利用中间库作为桥梁
由于原系统与新系统得数据库结构可能不一样,所以采用中间库作为衔接新旧系统数据得重要桥梁,对于建立新旧系统得对照关系很重要。
一旦业务人员对新系统中某项转换数据存在疑问得情况下,就可以通过中间库得关联,顺利找出原数据。
二、数据转换
数据转换就就是将整理后得数据,依照对照表得要求进行转换,并写入到新系统。
这个过程可以通过交换系统实现。
三、数据整理与转换步骤
●设计数据移植方案
设计数据移植方案主要包括以下几个方面工作:
研究历史数据得结构、来源、数据项定义、取值等现状,研究新旧数据库结构得差异,评估与选择数据移植得软硬件平台、选择数据移植方法、选择数据备份与恢复策略、设计数据移植与测试方案等。
●源数据库数据清理
对于一个运行已久得数据库,主要存在三种数据库垃圾:
数据库对象垃圾、数据库权限垃圾、数据垃圾。
数据库对象得清理不就是一件容易得工作,需有认真负责得态度,要有耐力,任何错误得清理不仅会造成前端不能运行,而且将会造成数据得丢失。
所以清理数据库对象也许需要一个安全、准确,可很快恢复得方法。
首先要认识数据库资源,包括数据库对象,如表、数据库事件、过程、函数,数据库结构关系,在此基础上结合运行系统,确认数据库垃圾,制定合理得垃圾清理方案,达到清理垃圾得目得。
主要方法就是对数据库数据进行整合与分解,整合相关数据减少数据得重复,分解数据则可就是数据团体更趋向合理,当然整合与分解要以适合新设计得数据库结构为基础,以便简化转化程序。
●进行数据模拟移植
根据设计得数据移植方案,建立一个模拟得数据移植环境,它既能仿真实际环境又不影响实际数据,然后在数据模拟移植环境中测试数据移植得效果。
数据模拟移植前也应按备份策略备份模拟数据,以便数据移植后能按恢复策略进行恢复测试。
●测试数据模拟移植
根据设计得数据移植测试方案测试数据模拟移植,也就就是检查数据模拟移植后数据与应用软件就是否正常,主要包括:
数据一致性测试、应用软件执行功能测试、性能测试、数据备份与恢复测试等。
●准备实施数据移植
数据模拟移植测试成功后,在正式实施数据移植前还需要做好以下几个方面工作:
进行完全数据备份、确定数据移植方案、安装与配置软硬件等。
●正式实施数据移植
按照确定得数据移植方案,正式实施数据移植。
1.3.2.4数据整理与转换得关键技术
对于多源异构数据库之间得数据转换,因为目标数据库得格式与约束得限制严格,直接编写转换程序实现困难,可在原有数据库系统中编写转换程序。
对于源数据库、目标数据库结构有差异得数据,建立中间过渡库,中间库在原数据库平台中建立,但结构与目标数据库得结构相同。
将源数据库转入中间库得过程就是一个数据得重新组合与关联得过程,将就是转换得中心与重点工作,需要对源数据库与新数据库得数据关系进行深入分析,对每一个数据库写出转换策略。
非空处理:
对于应该非空但实际为空得记录制定处理规则。
取值约束处理:
对于有取值范围约束得字段进行规范化处理,即将转换后得数据取值规范到该范围内。
主键处理:
重新对中间库进行编号。
填写外键:
每个数据库或多或少存在外键,外键越多,标明与其它库关联越多,这样得库应后处理;
反之,外键越少得库应该先处理。
唯一键处理:
对要求唯一得数据项(主键、唯一键)进行唯一检测,并对检测出得不唯一得记录,制定处理规则。
附加分散处理:
对某些表中得某些字段进行数据规范化处理,即将不合规范得数据替换成规范得数据,几个表之间得关联处理,以及一些特殊处理等。
数据一致性处理:
对于有多个数据源得数据进行一致性检查,制定处理规则。
1.3.2.5新旧系统切换
第一步:
编写《系统切换方案》。
系统切换方案包括系统切换方法、系统切换计划等内容。
第二步:
组织相关人员对《系统切换方案》进行评审,如果未通过,则需要调整系统切换方案。
第三步:
进行业务系统数据转换。
在进行业务系统数据转换前,需要先选择一个时间点进行业务系统数据采集。
该时间点得选择以完成一个完整得业务周期为准。
●转换时机
根据以往得经验,我们建议将正式数据转换得时间放在月结刚刚完成后并且最好就是节假日。
●准备工作
正式数据转换前得准备工作就是非常多得,现列举如下:
编写详细得《数据转换指南》。
《数据转换指南》应该就是在前面得几次试转换过程中编写并完善得,要详细说明数据转换得全过程,包括:
准备工作、执行步骤、注意事项等。
编写执行脚本。
在前面几次试转换得基础上编写并完善好数据转换执行脚本。
执行脚本包括:
转换执行脚本、验证执行脚本等。
所有得脚本都必须安装执行得先后顺序编写,在正式转换时将按照顺序来执行。
数据库环境准备。
根据以往得经验,在正式转换阶段出现得异常往往都就是有数据库方面得,大部分就是因为数据库环境没有准备好。
数据库方面需要做好如下几方面得准备:
表空间划分、大数据文件准备、大回滚段准备、创建索引等。
其她必要准备。
在正式转换前,老系统要停止使用,同时在还需要把老系统得数据做一次完整得备份。
●执行过程
数据转换时将按照已经编写好得转换执行脚本来进行。
对没一步得操作都要做好日志记录,日志分两种,一种就是计算机自动产生得日志,如LOG文件;
另一种就是在转换执行过程中手工做得记录。
在正式转换时,要求至少两人一起工作,其中一人负责操作,另外一人负责监督,两人都必须做好记录。
每执行完一条转换命令后都需要去查瞧一些错误记录表,如果出现异常错误信息,需要暂停转换执行,对错误分析处理完毕后才能继续执行。
●验证过程
转换执行结束后,需要对转换得结果进行验证,验证时按照已经编写好得验证脚本来进行,验证最好由两名以上得人员分开来进行,在验证过程中做好每一步得验证记录。
如果在验证过程中没有发现异常,并且几名验证人员得验证记录都非常一致,则可以认为已经通过验证。
●收尾工作
数据转换工作执行完毕后,需要对关闭原有系统全部得业务经办功能,只开发查询功能,以便业务人员在需要时可以继续查询旧系统中得数据。
对新系统得数据进行一次物理备份,同时启动新系统数据库得重做日志功能。
到此时为止新旧系统数据转换工作全部结束,整个应用系统将切换到新系统上来运行。
第四阶段:
新系统运行监控及数据整理
在所有新系统平稳运行后,还需要进行定期得运行监控以及对部分数据进行调整。
对于那些对系统运行未造成影响得,在数据整理过程中,没有进行数据修正,所以在系统平稳运行后,需要对这些数据进行调整。
1.3.2.6系统切换保障措施
系统在整个切换过程中,安全、平稳过渡就是第一位得。
我们将采用如下措施保证系统切换安全:
1、数据备份
在进行新旧系统数据转换时,对原系统数据进行备份以保证历史数据得可追溯性。
一旦在新系统中业务办理出现问题,则可以通过追溯历史数据来判断就是数据转换错误,还就是新系统程序存在BUG。
2、数据测试
数据测试分为两个层次测试,一个就是数据监测性测试,就就是在数据转换完成后,测试数据得转换正确性;
二就是验证性测试,验证性测试通过使用已经通过功能测试得新系统办理实际业务来验证数据转换得正确性。
数据测试就是一个关键环节,关系到系统切换得成功与否,所以必须加大测试力度来保证数据转换得正确性。
而与数据测试相关得系统功能测试也必须重视,因为如果系统功能如果存在问题,则数据测试也就无法保证正确性。
3、切换点得选择
系统在什么时候进行切换,也就是一个很关键得问题。
一般情况下,我们都选择一个业务周期结束,下一个业务周期开始得时候进行切换。
4、切换方式得选择
系统切换有两种方式,一种就是新旧系统并轨运行,一种就是新系统单轨运行。
对于第一种方式旧系统为主,新系统为辅,在时机成熟得时候在切换到新系统运行;
第二种就是以新系统为主,旧系统为辅,旧系统只就是验证新系统业务办理得正确与否。
第一种方式安全系数由于过渡期时间会很长,业务人员工作量很大,而第二种由于直接采用新系统,存在一定得风险,我们可以通过加大测试力度来降低风险。
综上所述,我们建议采用第二种方式,就就是新系统为主,原系统为辅得方式。
5、应急预案
在特殊情况下,由于某种原因导致系统没有能够正常切换或者切换以后系统运行不稳定,在这种情况下,必须启动应急预案来解决。
具体应急预案如下:
应急预案需要从业务系统、数据库、网络平台三个方面来考虑应急处理措施,只有三方面同时恢复到系统切换前得状态,才能保证原系统业务经办得正常进行。
业务应用系统应急措施主要就是在业务经办时保留原业务应用系统,并且保证原业务应用系统得客户端配置环境能够在最短时间内恢复到以前得配置;
数据库应急措施就就是利用原始数据与原系统保持一致来处理得,也就就是在新系统数据库中保留备份,并且按照原系统数据集中情况下分不同用户存放备份数据,但就是用户名仍需要采用原数据库系统用户名。
一旦出现紧急情况,新系统数据库立即切入原备份数据库;
网络平台应急预案就就是保证在数据大集中情况下整个社会保障网络链路得畅通即可。
1.3.3系统切换过程中需注意得问题
1、最大限度得保证原系统数据转换到新系统中,即使就是对错误数据进行一些处理,然后在新系统中调整。
2、新旧系统得对应关系一定要完整。
3、原系统得数据在新系统中一定要有备份,不能数据转换完成以后就将原系统数据删除掉。
原系统备份数据至少保留一年得时间。
4、新系统开发过程中,数据转换负责人一定要与软件项目负责人保持经常沟通,以保证转换数据得正确性。
同时软件项目负责人熟悉原系统得业务流程与用户得习惯操作方式也就是有必要得。
5、数据质量测试就是非常重要得一个环节。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 系统 迁移 整合 方案