数据映射服务DMSWord文件下载.docx
- 文档编号:22738419
- 上传时间:2023-02-05
- 格式:DOCX
- 页数:14
- 大小:168.15KB
数据映射服务DMSWord文件下载.docx
《数据映射服务DMSWord文件下载.docx》由会员分享,可在线阅读,更多相关《数据映射服务DMSWord文件下载.docx(14页珍藏版)》请在冰豆网上搜索。
2007-05-30
数据映射服务(DMS)v0.9betaBuild530
2007-07-15
数据映射服务(DMS)v1.0标准版Build715
标准版
2007-11-18
数据映射服务(DMS)v1.6标准版Build1118
2008-05-06
数据映射服务(DMS)v1.8单位版Build1.506
企业版
2008-06-26
数据映射服务(DMS)v2.0单位版Build1.626
第2章名词解释
2.1名称解释
2.2缩写语
DMS:
DataMappingService
ODS:
OperationalDataStore(操作型数据存储)
第3章产品概述
数据映射服务(DMS)是在成熟的实施方法论指导下的数据源发现、数据源分析、数据标准化、数据映射、数据抽取、数据清洗、数据转换、数据加工、数据加载的一系列数据处理过程,它是一个从数据源到数据目标端有序的、有规则的、有条件的数据处理过程。
从而满足在各单位内部或各单位之间的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的系统之间共享和交换数据的需求。
数据映射服务(DMS)是一套适用于异构系统、异构数据源和网络化环境的开放性平台软件。
它支持数据的多向传递和集中处理,并采用突破性的可视化操作方式,只要轻松拖拽鼠标,无需编写复杂的函数和代码,即可满足数据跨域集中、商业智能ETL、历史数据迁移和数据远程交换等典型应用需求。
数据映射服务(DMS)为组织内、外部之间建立了一个安全、可靠、快速、灵活的数据通道和加工平台,为组织实现信息战略目标提供了强有力的支撑。
功能强大的性能杰出的数据映射服务(DMS)已成为一款通用型软件,能成功地应付关键性事务活动,它产生效益,力量和性能,是信息化建设的得力工具。
数据映射服务(DMS)已经达到国际先进水平。
第4章产品定位
数据映射服务(DMS)定位于数据集成服务的中间件产品,仅建立在数据层,实现与应用的无关性。
数据映射服务(DMS)提供数据库级和应用级的数据集成服务,满足数据迁移、数据更新、数据交换、创建和维护数据仓库、创建和维护ODS等场景的应用需求。
第5章产品设计
5.1产品架构
5.1.1产品架构图
数据映射服务(DMS)基于EclipseRCP/OSGI而构建,具备了EclipseRCP/OSGI带来的动态化、插件化和良好的扩展性的特征。
●服务层
系统的核心服务层,对外提供各类服务。
可通过编写标准的OSGi插件来进行扩展和替换。
●支持层
支持层提供各项管理保障机制。
可通过编辑Java脚本自定义处理方式。
可通过编写标准的RCP插件来进行扩展和替换。
●调控层
调控层对各关键流程和内部运行的监控管理。
●控件层
控件层为可靠数据转换工具提供给用户使用的控件。
●界面层
界面层为可靠数据转换工具对外提供的使用的界面。
5.2功能介绍
5.2.1业务模型设计
在数据集成的设计过程中,普遍因数据源与目标端数据结构存在较大差异,导致作业设计时需紧密结合业务。
因此,合理的设计业务模型对数据整合是至关重要的
数据映射服务(DMS)提供完善业务模型设计器,以多种连接线、多种业务图形以及内容注释绘制业务模型,以辅助于各类数据集成作业的设计。
图:
业务模型组件列表
5.2.2元数据管理
数据映射服务(DMS)在数据源定义、映射规则、装载策略等方面提供强大的元数据管理功能,主要包括:
Ø
数据存储的开放性
元数据存储的可移植性
提供多种方式访问元数据
元数据的版本控制
支持开放的元数据标准
支持XML进行元数据交换
支持分布式的元数据访问和管理
基于元数据的查询功能
元数据的广播和重用
5.2.3功能组件管理
5.2.3.1ELT处理
ELT处理组件组支持现在最流行的数据库连接器,以及处理组件。
致力于将ELT模式的目标数据库成为转换引擎。
支持的Teradata,Oracle,MySQL等。
5.2.3.2XML处理
XML处理组件组专门用出来XML相关处理,如XML分析、XML验证、XML结构创建等。
5.2.3.3业务系统
随着ERP、SCM和CRM等应用程序的发展,对商业逻辑的理解需要对底层相关数据的存储有所了解。
然而直接访问底层的DBMS数据库可能会导致一些问题的发生,而生成的传统SQL又过于简单。
这样就需要通过一种特别的方式来获取应用系统的商业逻辑,即通过与应用程序的交互来确保所有有用的数据被获取。
数据映射服务(DMS)为企业应用系统开发了相应的应用程序接口,接口的开发基于应用层,这就意味着数据映射服务(DMS)除了采用传统的SQL语句之外,还同数据字典和企业知识库紧密相连。
通过应用程序接口与应用程序字典和当前的逻辑源数据相关联获取相应数据。
5.2.3.4商业智能
商业智能组件是用来连接商业智能的连接器,可以满足需要。
如读或写的多维或OLAP数据库,输出Japser报表,跟踪数据库的缓慢变化维表变化等等。
5.2.3.5图表组件
图表组件组专门用来由数据生成分析的图像。
5.2.3.6微处理
微处理组件组包括一些微处理的常用功能部分,如建立一套假数据行,缓冲数据,装载上下文变量等等。
5.2.3.7数据加工
数据加工组件组专用数据加工组件,可以帮助您提高您的数据质量。
这些组件包括各种需求,如缩小过滤唯一行,计算CRC,模糊匹配查询数据等等。
5.2.3.8数据库
数据库组件组集中支持现在绝大多的数据库连接器。
这些连接器包括各种需求,其中包括:
打开连接,读取和写入的表数据,提交事务,同样当错误处理时回滚事务。
对应的数据库操作类型,超过40种关系型数据库管理系统的支持。
5.2.3.9文件
文件组件组专门处理文件,读取和写入数据到各种类型的文件。
包括现在绝大多数的文件类型的输入和输出组件。
此外,管理文件组专门用来执行各种的文件操作,包括解压,删除,复制,对比文件等等。
5.2.3.10日志和错误输出
日志和错误输出组件组专门用来日志信息捕捉和工程执行中错误信息处理等。
5.2.3.11系统组件
系统组件组专门用来与本地操作系统之间的连接操作。
如执行命令行等。
5.2.3.12网络组件
网络组件组的所有组件专门用来访问互联网上存储的内容,可以通过最各种途径,包括Webservice,RSS流程,SCP,MOM,EMail,FTP等等。
5.2.3.13高级处理
高级处理组件组,可以帮助您以执行所有类型的数据流动中处理,包括聚合,映射,转换,过滤等。
5.3技术关键点
5.3.1可视化的映射
数据映射服务(DMS)基于EclipseRCP技术和OSGI体系框架构建,具备了可视化、组件式、拖拽式操作等特征。
5.3.1.1支持多种形式的映射
数据映射服务(DMS)支持多种形式的转换需求,支持结构化数据、非结构化数据的转换;
支持数据库到数据库、文件到文件、文件/数据库到文件/数据库;
支持一对多、多对多。
数据映射服务(DMS)基于JDBCAny技术而实现,因此可实现对于多种不同数据源的读取、处理和写入。
5.3.1.2支持多种映射规则
对于字段的拆分、组合、类型转换等常见的映射规则数据映射服务(DMS)均提供了支持。
对于需要自定义处理规则的字段可通过编写Java脚本代码来实现。
5.3.2建模式的映射
数据映射服务(DMS)支持建模式的映射,通过建立读取端和写入端的模型以及模型间的映射关系,可自动生成相应的数据处理过程。
建模式的映射使得用户可以可视化的进行业务建模,实现数据的提取、转换和写入。
5.3.3可靠的映射
在数据映射中最重要的一点就是保证数据处理的可靠,即在出错的情况下允许定义各种处理策略,出错后允许手工的纠错并继续执行,在转入完毕后如发现严重的错误允许对上次的操作进行回滚。
5.3.3.1容错
在数据映射服务(DMS)中允许对可能出现的各种错误定义不同的处理策略,例如在出错后记录到日志、出错后终止执行、出错后智能纠错、出错后等待手工纠错等策略。
具备了这样的机制可以把运行期的错误降低到最小。
5.3.3.2纠错
提供智能纠错和手工纠错两种策略,智能纠错策略为对于例如字段过长这样的错误进行智能化的处理;
手工纠错策略则将在运行出错后返回至控制台,并提供详细的错误数据的信息,允许直接进行修改,修改完毕后可继续运行。
5.3.3.3回滚
数据映射服务(DMS)支持将前一次运行的数据处理过程的结果进行回滚,避免由于数据转换造成数据的错乱。
5.3.4高效的转换
高效的转换是数据映射服务(DMS)的要素之一,数据映射服务(DMS)采用了语句自动优化、中间表等策略来提升数据转换的效率,在运行时数据映射服务(DMS)会自动根据运行的情况选择相应的策略,也可手动的设置相应的策略。
5.3.4.1语句自动优化
对于查询语句数据映射服务(DMS)将会根据数据库类型自动的进行优化,以提升对于数据的读取效率。
5.3.4.2中间表策略
数据映射服务(DMS)在进行数据转换时,将自动根据读取、写入的速度来决定是否先写入临时表,然后再把数据从临时表导入目标表。
图表2中间表策略
5.3.4.3内存表策略
内存表策略是数据映射服务(DMS)用于提升数据转换时常用的策略,数据映射服务(DMS)在运行时通过占用内存来保证数据的高效。
图表3内存表策略
5.3.5可测试的映射
数据映射涉及到的为数据,在数据的数据处理过程中如果出现错误将会造成严重的结果,因此转换的可测试性对于数据转换而言是非常关键的,数据映射服务(DMS)提供了单元测试框架、模拟真实环境以及跟踪/调试的支持来保证数据转换的可测试。
5.3.5.1单元测试框架
数据映射服务(DMS)提供的单元测试框架和Junit这类的单元测试框架基本一致,数据映射服务(DMS)要求每个数据处理过程在运行前均配置测试的数据以及预期的结果,如运行后结果与预期的一致则表明过程的配置是正确的,此时正式的数据才会得以导入。
5.3.5.2模拟真实环境
数据映射服务(DMS)提供了模拟真实环境的支持,以保证数据转换与正式环境下运行的情况是一样的,避免切换到正式环境后出现错误。
5.3.5.3跟踪/调试
在转换运行的过程中数据映射服务(DMS)可进行跟踪和调试,以更加准确的进行错误的查找和调试。
5.3.6可监控的数据处理
数据映射服务(DMS)在运行数据处理过程时提供了各种监控的方法,以方便用户查看目前数据处理过程运行的情况,同时数据映射服务(DMS)也提供了生成运行情况总结报表的支持,在数据处理过程运行完毕后可为用户提供各种形式(数据库、Excel、Web页面等)的运行情况(读取的数据量、写入的数据量、写入的速度、时间等)的报表。
第6章产品优势
数据映射服务(DMS)是中威佰特公司根据众多数据整合实施项目为原型、以ETL和ELT技术为基础、以数据标准化和完整的数据视图为目的、针对政府和单位以数据为核心的数据集成产品。
产品具有以下优势和特点:
先进的ETL、ELT开发方法
完善的项目实施方法论
基于J2EE和具有跨平台的技术特征
基于EclipseRCP实现可视化、拖拽式设计
可重用的基础设施、组件开发和统一的开发标准
业务需求、技术实现和作业运行相隔离,可控的开发过程
易于系统的维护和升级
第7章产品对比
Informatica
IBM
DataStage
DMS
抽取效率
慢N倍。
N次请求,N次抽取。
快N倍。
N次请求,1次抽取。
提供并行路由服务,源表数据经过联合、过滤、清洗、转换处理后,根据各目标表的路由条件,并发的结果将路由到相应目标库表中;
采用“一次抽取,并发路由”的机制,减轻了源数据库的压力,同时提高处理性能;
应用难度
难。
实施数据处理项目时,用户需编写大量代码;
易。
用户少需写代码。
实施全程可视化,大部分操作由鼠标拖拽完成,极大的提高了生产效率,深受用户喜欢;
中文处理
有限。
异构字符集处理能力弱;
高效。
支持异构系统和异构字符集,中文(双字节)和西文(单字节)字符集;
实施成本
高。
周期长,培训时间长,任务过程复杂;
低。
周期短,培训时间短,任务过程相对简单;
数据接口
不提供统一接口,不方便特殊格式文件导入、特殊转换处理和动态规则处理;
采用SOA架构,内置规则引擎、流程自动化、变量管理器;
提供统一服务处理接口;
提供统一数据接口方便各种数据的接入/接出;
包含专利技术——变量管理器,用于支持动态表、动态语句、动态表达式等动态规则;
提供虚拟列技术,方便各种类型转换处理
使用方式
提供组件,颗粒度太细,处理业务需繁琐组装;
使用繁琐,操作不便,维护成本高;
不提供项目的全程支持;
提供通用服务功能组件,如:
表复制、表转换、表-文件转换、SQL处理等,可视化配置;
拖拉形成处理流程;
使用简单,全程支持应用开发:
从配置到部署创建、运行菜单创建、运行监控,到修改热发布,都可在一套操作界面完成;
业务规则
仅支持元数据管理,不方便业务知识的重用;
不仅对元数据管理,还支持业务处理知识的管理,方便用户“按需装配”应用项目,便于业务知识的重用;
安全可靠
处理过程可跟踪;
意外处理不强,产生意外时没有好的容错性,不支持意外补偿机制;
不支持增量的可靠性处理;
意外处理不强,产生意外时没有好的容错性,不支持意外补偿机制,容错性不好;
支持意外处理,记录意外原因,意外的数据,不终止运行,具有很好的容错性,支持意外补偿处理机制;
提供增量处理可靠性机制,当处理中止时,下次处理时,遗漏的数据可以被被加工,不丢失数据;
监控、协同、集中等功能
欠缺或不足;
丰富。
支持项目全程的设计、部署、监控;
支持多服务器的协同工作;
提供集中的可视化工具完成对各服务器的集中配置、集中发布和集中监控;
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 映射 服务 DMS