Oracle Data Integrator应用指南.docx
- 文档编号:2392829
- 上传时间:2022-10-29
- 格式:DOCX
- 页数:68
- 大小:2.55MB
Oracle Data Integrator应用指南.docx
《Oracle Data Integrator应用指南.docx》由会员分享,可在线阅读,更多相关《Oracle Data Integrator应用指南.docx(68页珍藏版)》请在冰豆网上搜索。
OracleDataIntegrator应用指南
信息技术最佳实践
ORACLE核心应用技术
FusionMiddleware
ODI应用指南
Approvals:
CopyNumber_____
DocumentControl
ChangeRecord
Date
Author
Version
ChangeReference
Reviewers
Name
Position
Distribution
CopyNo.
Name
Location
1
LibraryMaster
ProjectLibrary
2
ProjectManager
3
4
NoteToHolders:
Ifyoureceiveanelectroniccopyofthisdocumentandprintitout,pleasewriteyournameontheequivalentofthecoverpage,fordocumentcontrolpurposes.
Ifyoureceiveahardcopyofthisdocument,pleasewriteyournameonthefrontcover,fordocumentcontrolpurposes.
Contents
1.ODI基础
1.1.参考资料
官方中文资料:
官方英文资料:
安装盘下的index.htm,或者OTN。
比较有用的文档,收录在“OracleDataIntegrator应用指南.Source.rar”。
1.2.ODI基础
1.2.1.简介
ODI是Oracle在2006年10月收购Sunopsis公司后,整合SunopsisActiveIntegrationPlatform而推出的一款数据集成工具,现在是OracleFusionMiddleware的组件。
与OWB一样,ODI也是“ELT”而非“ETL”工具,Oracle不采用独立的引擎而是充分利用RDBMS的能力进行数据转换,减少网络流量、平衡和提高性能的同时降低投入总成本。
1.2.2.数据集成面临的挑战
数据集成面临的挑战和Oracle的解决方案:
1.2.3.Oracle的解决方案有何优势
Oracle的解决方案有何优势:
1.2.4.ODI优势详解
1、ELT与传统的ETL相比,性能和成本都有很大优势
2、统一的平台,支持面向数据、面向事件、面向服务的集成,支持批量、RealTime、同步、异步集成,提供了最大的灵活性和便利性
3、声明式设计,集成任务无需编程,学习曲线短,工作效率高
4、预置的、可热插入的知识模块,提供了可重用的模块化管理,又确保了灵活性和可扩展性。
ODI按阶段将KM分成6类。
ODI“开箱即用”的KM有100多个,比如:
中文版:
1.3.ODI理解之1
1.3.1.关于ODI与OWB的疑惑
1、OWB有DW建模功能,而ODI没有。
2、ODI支持更多的数据源,如WS、SOAP、Jython、LDAPDirectories。
3、ODI支持复杂和实时的数据集成。
4、ODI支持将错误数据隔离到专门的ErrorTable表中而无需编程实现。
5、ODI支持CDC、SCD、BulkLoad。
总的来说,在DW领域,ODI是OWB的补充,在纯粹数据集成领域,则应该使用ODI。
如果DW项目采用OracleBIEE,那么最佳的搭档应该就是ODI了。
不过这两个工具今后Oracle有可能合并——ODI10.1.3.4中已经有了原来属于OWB的DataProfilingandQuality。
1.3.2.应用场景
任何数据驱动的集成,都可以使用ODI,应用场景包括但不限于:
1、数据仓库:
比如ETL阶段。
ODI+BIEE是非常好的搭配。
2、数据迁移:
比如将某一源系统的数据迁移到新系统中。
3、数据集成:
比如两个系统间高效的点到点数据传递。
4、数据复制:
比如将一个Instance的数据复制到另外一个Instance中。
5、SOA应用
6、MDM应用
1.4.ODI组件
1.4.1.Overview
OracleDataIntegrator由以下基于Java的、可分开部署的组件构成:
1、Repository,资料库,分MasterRepository和WorkRepositories,可安装在RDBMS中。
2、GraphicalModules,包括4个设计工具,我们主要用这4个工具工作。
Designer用于定义DataStore、Interface(数据映射)、Package(类似Workflow)。
Operator用于管理和监控数据转换任务的执行情况,也可用于调试。
TopologyManager用于定义物理架构、逻辑架构。
SecurityManager用于管理用户权限。
3、ScheduleAgent,属于Runtime组件,因为ODI采用E-LT架构,所以ScheduleAgent只用来调度执行ELT任务,其数据转换引擎很少用到。
4、MetadataNavigator,基于Servlet和JSP的访问资料库的Web接口。
5、LightweightDesigner,用于通过浏览器查看和编辑Repository。
6、PublicWebServices,用于SOA环境,可通过WS来访问ODI。
后3个需要单独安装,需要Web服务器如Tomcat或OC4J。
此外,还集成了OracleDataProfiling、OracleDataQuality。
1.4.2.技术架构
开发环境和生产环境:
中文版:
1.5.ODI安装
1.5.1.软件下载
以10.1.3.4Windows版本为例,地址:
1.5.2.安装选择
1、运行安装盘下的setup\Windows\setup.bat。
2、产品选择第一个选项安装所有组件——ODI和DataProfiling、DataQuality
3、类型选择第一个选项同时安装Server和Client
1.5.3.安装设置
1、Home和路径不要和其它的Oracle产品共用即可
2、为DataProfiling和Quality的Server设置端口、管理员及其密码(设为madmin)
注:
Windows下netstat–a命令可以查看端口占用情况。
3、为DataProfiling和Quality的Client,设置欲连接的主机名和端口
因为Server是本机,所以设置为localhost;端口和上面步骤设置的一样。
4、为DataQuality设置ODBC适配器端口,保持默认
1.6.服务和菜单
1.6.1.服务
1、OracleDataQualityInetd
2、OracleDataQualityScheduler
1.6.2.菜单
1、OracleDataIntegrator
2、OracleDataProfilingandQuality
1.7.基本训练
完成官方“GettingStartedwithanETLProject”,可比较好的掌握基本概念、功能、集成流程。
请勿跳过。
下面的章节将逐一展开,但基本都是记录精要内容,详细地说明请参阅开始菜单中的DocumentationLibrary。
2.完整的简单例子(资料库、体系结构、项目、模型、接口、包、方案)
2.1.ODI理解之2
2.1.1.什么是资料库
ODI资料库可安装在任何支持ANSIISO89的数据库中。
资料库分两种:
1、MasterRepository,保存企业所有IT资源的Topology,保存项目和数据模型的安全信息、版本信息,供ODI图形模块等使用。
通常创建一个即可。
MasterRepository要尽可能独立存储,单独的Instance,或单独的Schema。
2、WorkRepository,保存项目和数据模型,供ODI图形模块等使用。
可创建多个。
一个WorkRepository只能连接一个MasterRepository。
一个Schema只能存储一个WorkRepository,不过MasterRepository倒可与其安装在同一Schema。
Oracle实验室已验证通过的数据库有:
HypersonicSQL、IBMDB2UDB、IBMDB2/400、Informix、MicrosoftSQLServer、Oracle、SybaseASAnywhere、SybaseASEnterprise、SybaseASIQ等。
2.1.2.什么是Topology
TopologyManager主要用来管理下面5类任务,并将信息存储在主资料库中,供所有模块共享使用。
1、物理体系结构,定义各种技术及其数据服务器、物理架构、物理代理。
2、逻辑体系结构,定义各种技术及其关联的逻辑架构、逻辑代理。
3、上下文,用来连接物理架构和逻辑架构。
4、语言,不同技术所能采用的语言特性。
5、资料库,包含主资料库及其附属的工作资料库。
这里重点再看几个概念:
1、技术和数据类型:
ODI将不同的数据库(Oracle、DB2等)、文件格式(XMLFile等)、应用系统,用不同的“Technology”来表示。
每种技术都有自己支持的“DataType”。
2、数据服务器:
在ODI中,每个数据库服务器、JMS消息文件、每组文本文件必须先定义为“DataServer”。
3、物理架构:
在数据服务器下,每个用户、JMSTopic、文本文件必须定义为一个“PhysicalSchema”。
4、物理代理:
在物理体系结构需要定义“PhysicalAgent”,允许在远程机器上执行ODI任务。
5、逻辑架构、逻辑代理是物理架构、物理代理的逻辑组合,方便用户管理和使用。
2.1.3.什么是知识模块
OracleDataIntegrator之所以能适应不同的、多种多样的数据源,灵活有效的完成数据抽取/转换/载入的过程,均是基于其知识模型体系。
KnowledgeModules类似于程序中的插件,OracleDataIntegrator将数据整合的任务抽象出六个组成部分:
1、反向工程RKM,Reverse-engineeringknowledgemodules,用于从数据源读取表及其他对象。
2、日记JKN,Journalizingknowledgemodules,用于为单一或一组表/视图记录新建的和修改的数据。
ODI支持部分数据源的ChangeDataCapture(CDC)功能,前提为ODI项目中启用该模块。
3、加载LKM,Loadingkno
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Oracle Data Integrator应用指南 Integrator 应用 指南
![提示](https://static.bdocx.com/images/bang_tan.gif)