Fresoar Data Migration 20 使用手册.docx
- 文档编号:30735045
- 上传时间:2023-08-20
- 格式:DOCX
- 页数:12
- 大小:559.02KB
Fresoar Data Migration 20 使用手册.docx
《Fresoar Data Migration 20 使用手册.docx》由会员分享,可在线阅读,更多相关《Fresoar Data Migration 20 使用手册.docx(12页珍藏版)》请在冰豆网上搜索。
FresoarDataMigration20使用手册
FresoarDataMigration2.0使用手册
目录
一、软件使用前配置2
二、功能描述及使用方法2
1、数据源配置3
1.1功能描述3
1.2使用方法3
2、数据抽取/装载配置6
2.1功能描述6
2.2使用方法6
3、数据清洗/校验/补丁配置7
3.1功能描述7
3.2使用方法8
4、数据转换配置9
4.1功能描述9
4.2使用方法9
5、工作任务配置11
5.1功能描述11
5.2使用方法11
6、邮件发送配置12
6.1功能描述12
6.2使用方法12
一、软件使用前配置
使用软件产品“FresoarDataMigration2.0”(以下称“本软件”)前,需要安装相关数据库ODBC驱动或客户端,否则本软件无法连接数据库。
安装ODBC驱动或客户端成功后,建议先单独使用ODBC驱动和客户端测试数据库是否能正常连接,确保本软件能正常连接数据库。
我们网站()提供了部分数据库ODBC驱动和客户端程序可供下载,如有别的需要请自行前往相关数据库官网下载必要的ODBC驱动或客户端程序。
MySQL数据库ODBC驱动请使用3.51版本,我们网站已经提供下载链接,请下载使用。
二、功能描述及使用方法
本软件目前的任务运行顺序是数据抽取数据清洗数据转换数据校验数据补丁数据装载来依次运行的,并且在任务运行后可配置发送邮件提示,软件中的所有数据库操作必须在能保证数据库正常启动并且能支持外部连接的情况下进行。
以下对本软件的功能和操作做详细的介绍。
对本软件如有什么建议和意见请及时反馈,请发邮件至邮箱DataMigration@或DataMigration@。
1、数据源配置
图(1-1)
1.1功能描述
数据源配置只作为后续功能连接数据库基本配置信息,在配置数据源信息时请确保配置信息无误,能正常连接数据库。
1.2使用方法
1.2.1目标数据源配置
A.添加:
如图(1-1)中,在目标数据源区域点击【添加】按钮,弹出如下图(1-2),填写数据库连接配置信息,保存前请先点击【连接测试】按钮测试配置信息是否正确和是否能正常连接数据库,点击【保存】按钮进行目标数据源配置信息保存操作,保存成功后可在图(1-1)目标数据源列表显示出配置的目标数据源信息。
B.修改:
如果需要修改目标数据源配置,请在图(1-1)目标数据源配置列表中选中需要修改的配置信息,右击出现菜单列表,选择“修改目标数据源配置信息”,出现图(1-2)窗体,然后按照目标数据源添加的相同步骤,即可修改配置信息。
如果需要修改目标数据源配置状态,请在右击菜单中选择“修改数据源配置状态”,选择“启用”或“停用”即可。
C.删除:
删除目标数据源配置,请在图(1-1)目标数据源配置列表中选择需要删除的配置信息,右击出现菜单列表,选择“删除此目标数据源”,即可删除此条目标数据源配置信息。
图(1-2)
1.2.2源数据源配置
源数据源配置和目标数据源配置类似。
A.添加:
如图(1-1)中,在源数据源区域点击【添加】按钮,弹出如下图(1-3),填写数据库连接配置信息,保存前请先点击【连接测试】按钮测试配置信息是否正确和是否能正常连接数据库,点击【保存】按钮进行源数据源配置信息保存操作,保存成功后可在图(1-1)源数据源列表显示出配置的目标数据源信息。
B.修改:
如果需要修改源数据源配置,请在图(1-1)源数据源配置列表中选中需要修改的配置信息,右击出现菜单列表,选择“修改源数据源配置信息”,出现图(1-3)窗体,然后按照源数据源添加的相同步骤,即可修改配置信息。
如果需要修改源数据源配置状态,请在右击菜单中选择“修改数据源配置状态”,选择“启用”或“停用”即可。
C.删除:
删除源数据源配置,请在图(1-1)源数据源配置列表中选择需要删除的配置信息,右击出现菜单列表,选择“删除此源数据源”,即可删除此条源数据源配置信息。
图(1-3)
2、数据抽取/装载配置
图(2-1)
2.1功能描述
此处配置包含两种配置功能,数据抽取和数据装载,数据抽取即从源数据源把相应的数据表原封不动的复制到目标数据源,如果目标数据源已经存在此表,会先删除此表再创建表,若不存在则自动创建表;数据装载是将源数据源中的数据表数据追加到目标数据源同一表名的数据表,目标数据源必须存在此表名的数据表,并且表结构必须相同,否则无法装载。
如果源数据源的数据库类型和目标数据源数据库类型相同,我们目前不建议使用此功能,因为一般数据库会自带导入、导出、将数据表从一个数据源复制到另一个数据源的功能。
2.2使用方法
A.添加
选择源数据源编码、目标数据源编码和抽取/装载标识后,点击【选择抽取表】按钮,在旁边列表中会显示源数据源中的所有表,选择需要抽取到目标数据源的数据表,选择是否需要抽取主键,点击【保存】按钮完成抽取或装载的配置。
B.修改
在数据抽取/装载配置列表中选中一条配信息,右击菜单列表中,单击“修改数据抽取配置信息”后,配置信息将重新加载到列表下的文本框中,此时可以重新编辑除过抽取表的其它配置信息,重新编辑完成后点击【保存】按钮,则将保存修改后的数据抽取配置信息。
C.删除
在数据抽取/装载配置列表中选中一条配信息,右击菜单列表中,单击“删除此数据抽取配置”,即可完成删除配置信息操作。
3、数据清洗/校验/补丁配置
图(3-1)
3.1功能描述
数据清洗和数据补丁主要是对数据表数据的增、删、改操作,所以算法一定要是修改类的SQL语句;数据校验是对数据表数据符不符合校验规则的查询操作,校验算法一般应该是包含COUNT关键词的SELECT的SQL语句。
注:
1)在配置算法时,必须一条规则对应一条配置算法,不可在算法配置文本框中书写多个SQL配置算法;
2)配置的SQL中不得包含分号“;”,否则可能导致SQL算法执行不成功。
3.2使用方法
A.添加
a)单条配置:
选择需要操作的数据源编码和数据清洗/校验/补丁算法标识,配置相应的算法SQL和填写描述信息,点击【保存】进行配置信息保存。
b)批量导入配置算法:
点击【导入模板下载】按钮,进行模板下载,下载完成后必须按照模板的格式进行算法配置,切勿修改模板样式。
配置完成后点击【导入模板数据】按钮,弹出如下导入界面图(3-2),浏览存在配置算法的Excel文件,选择如何导入的单选按钮(添加导入数据:
即在原有的配置算法基础上再追加现导入的配置算法;清空所有算法后在导入:
即将之前所有的配置算法清空后再将现配置的算法导入至软件系统),点击【导入】按钮,将配置好的算法导入系统当中。
图(3-2)
B.修改
在数据清洗/校验/补丁算法列表中选中一条需要修改的算法信息,右击菜单列表中,单击“更新算法配置信息”后,算法的配置信息将加载到列表的下面文本框中,此时即可对此条算法信息重新配置修改,修改完成后,点击【保存】按钮则保存修改后的算法信息。
C.删除
在数据清洗/校验/补丁算法列表中选中一条需要修改的算法信息,右击菜单列表中,单击“删除此算法配置”,即可删除此条算法配置信息。
4、数据转换配置
图(4-1)
4.1功能描述
数据转换是从源数据源把数据按照目标数据源的要求,配置一定的逻辑算法迁移到目标数据源。
此处转换逻辑需要将业务上的逻辑分析为技术相关逻辑算法进行配置。
4.2使用方法
本软件数据转换的配置思想是以每张目标表为中心进行配置的。
A.添加
点击【转换表配置】跳出如下界面图(4-2),依次选择目标数据源、目标数据表、源数据源、源数据查询主表,并填写目标数据表名、源数据查询主表名、查询源数据主表条件。
查询源数据主表条件按照SQL语法Where条件编辑,条件不能写入Where关键字。
转换时以配置的源数据查询主表为查询表,条件按照配置的条件进行查询源数据。
当配置选择相应目标数据表时,此目标数据表的所有字段将显示在下面字段配置列表中,此时可以针对每个目标字段进行映射算法配置,目前包括三种映射类型:
1-默认值,2-源数据主表字段,3-自定义算法,默认值只在映射算法中填写相应的默认值即可,源数据主表字段则必须在映射算法填写源数据主表中的字段,自定义算法在映射算法中填写算法SQL,此算法SQL可关联查询主表的字段,也可不关联进行查询,但必须只能查询出一个值,否则数据转换不会成功,字段配置可点击每行字段配置信息前的【编辑】按钮进行字段映射配置。
将所有字段信息配置完成后点击【保存配置】按钮,此次这张表的转换配置完成。
图(4-2)
B.修改
在数据转换表配置列表中,选择一条需要修改的配置信息,右击菜单列表中,点击菜单“修改数据转换配置信息”,数据转换配置信息将加载到如图(4-2)窗体文本框中,此时即可对数据转换配置信息进行修改,配置信息编辑规则和数据转换配置添加时的规则完全相同,修改完成后,点击【保存配置】按钮,完成数据转换配置信息修改。
C.删除
在数据转换表配置列表中,选择一条需要修改的配置信息,右击出现菜单列表,点击菜单“删除此配置信息”,即可删除此条算法配置信息。
5、工作任务配置
图(5-1)
5.1功能描述
此界面主要配置任务是否启动、后台引擎是否启动和任务计划的配置,目前系统有数据抽取、数据清洗、数据转换、数据校验、数据补丁、数据装载这六个任务功能,只有当任务启动后,在执行任务计划时此任务下的配置才会被运行,要想运行任务计划,后台引擎必须为启动状态,任务计划是配置让任务在什么时间进行运行的,可以单次运行或者周期性的运行。
任务运行完成后可查看本次任务的运行情况。
例如:
需要用本软件操作数据抽取工作,假设数据抽取配置已经配置完成,下来将按照以下三步完成数据抽取工作,1、启动后台引擎,2、启动数据抽取任务,3、配置任务计划,并且为启动状态。
5.2使用方法
1、点击【启动后台引擎】按钮后,后台引擎状态为“启动”。
2、在如图(5-1)窗体的左上部分,点击单选按钮,选择需要启动或停止的任务。
3、配置任务计划,填写配置信息的起始时间、终止时间、循环类型、循环间隔、循环次数、是否启用,点击【保存任务计划配置】按钮进行计划信息保存。
当系统后台引擎开启,并且任务计划为启用,则任务计划开始倒计时。
6、邮件发送配置
图(6-1)
6.1功能描述
此功能在菜单栏[工具][邮件发送配置]菜单下。
邮件发送用于任务运行完成后提示用户。
用户可以以此邮件来检测软件的运行是否正常。
6.2使用方法
按照需要配置SMTP服务器(例如163服务器名称/端口:
然后选择需要在什么时候发送邮件,请选择界面图(6-1)右下角的单选按钮。
例如:
选择“数据抽取后”单选按钮则会在数据抽取完成后发送邮件,选择“任务计划运行后”则会在每次任务计划运行后发送邮件,若要取消邮件发送,则选择“取消邮件发送”单选按钮即可。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Fresoar Data Migration 20 使用手册