ODI工具抽取数据操作手册Word下载.docx
- 文档编号:17796288
- 上传时间:2022-12-10
- 格式:DOCX
- 页数:44
- 大小:3.22MB
ODI工具抽取数据操作手册Word下载.docx
《ODI工具抽取数据操作手册Word下载.docx》由会员分享,可在线阅读,更多相关《ODI工具抽取数据操作手册Word下载.docx(44页珍藏版)》请在冰豆网上搜索。
OracleDataIntegrator之所以能适应不同的、多种多样的数据源,灵活有效的完成数据抽取/转换/载入的过程,均是基于其知识模型体系。
KnowledgeModules类似于程序中的插件,OracleDataIntegrator将数据整合的任务抽象出六个组成部分:
(1)反向工程RKM,Reverse-engineeringknowledgemodules,用于从数据源读取表及其他对象。
(2)日记JKN,Journalizingknowledgemodules,用于为单一或一组表/视图记录新建的和修改的数据。
ODI支持部分数据源的ChangeDataCapture(CDC)功能,前提为ODI项目中启用该模块。
(3)加载LKM,Loadingknowledgemodules,用于从数据源抽取数据。
(4)检查CKM,Checkknowledgemodules,用于检测抽取出的源数据的合法性。
(5)集成IKM,Integrationknowledgemodules,用于将StagingArea中的数据转换至目标表,基于目标数据库产生对应的转换SQL。
(6)服务SKM,Serviceknowledgemodules,提供将数据以WebServices的方式展现的功能。
6、源系统
需要知道源系统的数据库用户密码与源系统IP地址或主机名、数据库端口、数据库实例。
(以223这台机为例)。
数据库链路:
jdbc:
oracle:
thin:
@172.17.7.223:
1521:
gbk
数据库用户/密码:
rcms/123456
数据:
EMP(表)
7、创建目标系统的用户(以50这台机为例)。
@172.17.7.50:
orcl
spaq_odi/spaq_odi
并且需要在目标用户上创建源用户的表或视图,表结构需要与源用户的表结构一致。
createuserspaq_odiidentifiedbyspaq_odidefaulttablespaceusers;
grantconnect,resourcetospaq_odi;
grantcreatedatabaselinktospaq_odi;
grantcreatesynonymtospaq_odi;
createtableEMP
(
EMPNONUMBER(4)notnull,
ENAMEVARCHAR2(10),
JOBVARCHAR2(9),
MGRNUMBER(4),
HIREDATEDATE,
SALNUMBER(7,2),
COMMNUMBER(7,2),
DEPTNONUMBER
(2)
);
二、创建主资料库
1、新建主资料库用户(以zzl(主资料缩写)用户为例):
createuserzzlidentifiedbyzzldefaulttablespaceusers;
grantconnect,resourcetozzl;
2、点击
创建新的主资料档案库,填写资料档案库连接资料,JDBCURL原本为jdbc:
@<
host>
:
<
port>
sid>
,需要手动修改。
填写完资料后,可通过测试连按钮接测试配置是否正确。
如下图1-2
图1
图2
三、创建资料档案库连接
1、点击
创建新的ODI资料档案库登陆,填写资料档案库连接信息,通过“测试连接”可测试配置是否正确。
四、创建工作资料库
1、新建工作资料库数据库用户(以gzzl(工作资料缩写)为例):
createusergzzlidentifiedbygzzldefaulttablespaceusers;
grantconnect,resourcetogzzl;
2、点击连接到资料档案库→拓扑→资料档案库→右键工作资料档案库→新建工作资料档案库如下图1-3
图3
3、新建完后会自动提示是否为该工作资料创建登录名,可选择帮该工作资料档案库创建登陆名。
也可连接主资料库的时候,点击
编辑按钮“食品安全综合监管项目”连接在工作资料档案库项勾上工作资料档案库并且点击放大镜
添加WORKREP1。
操作如图4-5
图4
图5
五、创建物理体系结构
1、创建目标系统物理体系结构(以ODI_MUBIAO为例)
拓扑→物理体系结构→技术→oracle→右键oracle→新建数据服务器如图1:
2、定义名称、实例/dblink(数据服务器)、连接用户及口令:
注1:
在“OracletoOracle”模式时,“实例/dblink”将用于ODI自动创建两个系统间的dblink,为了使dblink创建成功,需要在目标数据库端配置TNSNAME(=这里的“实例/DBLINK”);
另外如果来源和目标是同一个数据库,那么dblink就是LOOPBACK的,这里的“实例/dblink”名字就不能等于SID。
故这里故意加了“.LOOPBACK”。
注2:
连接用户与口令为目标的数据库用户与口令spaq_odi/spaq_odi。
3、JDBC驱动程序、JDBCURL:
4、保存后新建目标物理方案
点击ODI_MUBIAO→右键→新建物理方案
5、定义方案(方案)、方案(工作方案):
保存后报没有选择上下文的警告,先忽略之。
6、创建源系统物理体系结构与源物理方案(以ODI_YUAN为例)
如图1-3
注:
连接用户与口令为目标的数据库用户与口令rcms/123456。
最终结果如下图:
六、创建逻辑体系结构
1、创建目标系统逻辑体系结构(以ODI_MUBIAO为例)
拓扑→逻辑体系结构→技术→oracle→右键oracle→新建逻辑方案如图1-2:
2、创建源系统逻辑体系结构(以ODI_YUAN为例)
七、创建项目
1、设计器→项目→点击
→新建项目(以shipin项目为例)
如下图1-2:
2、导入知识模块
设计器→项目→shipin→右键知识模块→导入知识模块
如图1-2
温馨提示:
点击
即可全选知识模块,也可以逐个选择需要的知识模块,为简单起见,全选后确定。
不过全部导入比较耗时和占空间,看下面的滚动条和右下脚的空间占用就知道了。
八、创建模型
1、创建目标系统模型(以ODI_MUBIAO为例)
设计器→模型→点击
→新模型
按下图内容输入定义名称、技术、逻辑方案
2、创建源系统模型(以ODI_YUAN为例)
3、逆向工程
把目标系统(spaq_odi用户)下的表全部反向工程到我们目标模型内。
逆向工程页签→上下文选择Global→点击
按钮
4、创建源系统模型(以ODI_YUAN为例)
跟目标模块一致,逆向工程把源系统的(rcms用户)下的表全部反向工程到我们的源模块内。
5、创建目标模块ODI_MUBIAO主键:
设计器→模型→ODI_MUBIAO→EMP→右键约束条件→新建关键字
名称:
PK_EMPNO_1、关键字或索引类型:
主键、列:
EMPNO
目标模型的表必须添加主键,否则抽取数据的时候会出错。
九、创建接口
1、设计器→项目→shipin→第一个文件夹→右键接口→新建接口
2、输入接口名称
3、映射目标模块和源模块的表。
点击“映射”标签页→将ODI_MUBIAO内的EMP拖至目标数据库存储区域→将ODI_YUAN内的EMP拖至源默认值区域→提示是否执行自动映射,选择是即可。
4、切换到“流”标签页。
选中SrcSet0,LKM已默认采用LKMOracletoOracle(DBLINK),我们需要把下面的AUTO_CREATE_DB_LINK改为真。
如果我们已经在数据库中手工创建了DBLINK,并且名字和定义“数据服务器”时定义的一样,这里就保持默认值否。
选中“目标+临时区域”,可以看到下面已经默认使用了IKMOracleIncrementalUpdate
5、切换到“控制”标签页。
CKM选择器选上:
CKMOracle,保存接口。
十、执行接口
1、设计器→项目→shipin→接口→右键POP.EMP→执行
我们不使用代理,保持上面的选项点击“确定”,将会启动ELT会话。
2、检查是否执行成功
操作→会话列表→所有执行
3、查看数据
设计器→模型→ODI_MUBIAO→右键EMP→查看数据
到这里如果有数据的话,证明已经成功将ODI_MUBIAO内的EMP表的数据导进ODI_YUAN内的EMP表里面了。
十一、问题诊断
如果出现问题,Operator也提供了比较好的调式方法:
如下图:
1、由上图可以看到该执行到第9步出错了,可以双击该步奏打开会话任务窗口查看错误信息。
2、点击“代码”标签页可以查看执行哪些条语句出现该错误信息。
3、对于出错的会话,可以重新执行,并且,可以先修改“目标代码”标签页的内容,加入调式信息
十二、ODI工具12C创建代理
参考该网站:
12C版本中,ODI的代理共分为三种:
completely
standaloneagent
standalonecollocatedagent
JEEagent
12C版本在安装Server的时候,有两个选项,独立安装和企业安装。
本文将描述企业安装的情况下代理的安装(standalonecollocatedagent
)。
首先,进入目录<
Oracle_Home>
\oracle_common\common\bin,运行congfig.cmd,打开配置程序。
这里选择创建新的域,域名称可自行调整
接下来选择域的创建模板,勾选odicollocatedstandaloneagent选项,注意,下方的两项会自动勾选上,不要做任何调整!
输入weblogic的管理员账号和密码
这里我勾选的是开发模式,这样就不用每次启动weblogic的时候输入账号和密码了。
如果系统的java环境需要调整,可以自行输入jdk的路径。
接下来输入RCU的方案,方案的前缀名改为你在创建RCU的时候所使用的前缀。
配置完成后,点击获取RCU配置
这里不需要做调整,直接选择下一步
这里需要数据库链接测试全部通过
这里只选择系统组件。
(其他几个选项的配置过程,在下一篇文章里面会详细讲解)
这里出现的代理OracleDIAgent1,就是我们需要的代理程序组件(注意,新增代理组件的时候,组件类型不要选错)
这里填写代理server的IP地址端口号等相关信息。
配置服务器的信息
接下去,按照程序提示,一直选择下一步,直至执行完毕即可
配置完成后,我们打开ODIStudio的界面,为刚才创建的代理,配置物理代理
编辑代理页面,输入代理的名称。
注意,这里的物理代理名称必须与之前创建的代理名称相同,同时地址与端口号也需要保持一致。
接下来为物理代理配置逻辑代理,如下图
至此,所有的配置工作已经,全部完成,接下来我们来启动这个代理
进入先前创建的domain目录下,打开bin文件夹可以看到agent.cmd文件,我们来运行它
可以看到,命令行提示代理程序已经启动,那么我们进入ODIstudio测试一下代理看看
可以看到测试成功,说明之前的配置都已经生效了。
至此,ODI12C的CollocatedStandaloneAgent完全配置成功了。
十三、创建ODI控制台
1、进入ODI安装目录,运行config.cmd文件
2、odi_domain为域的名字可以根据自己的需求更改。
如你已新建ODI域的话,可以选择更新现有域,选择对应的域,即可编辑域,这里我选择创建新域。
3、选上OracleEnterpriseManagerPluginforODI–12.1.3.0
和OracleDataIntegrator–StandaloneCollocatedAgent–12.1.3.0
(1)OracleEnterpriseManagerPluginforODI–12.1.3.0
这个模板为:
web控制台所需要的模板。
(2)OracleDataIntegrator–StandaloneCollocatedAgent–12.1.3.0
创建代理时需要用到的模板。
4、新建域的相关位置资料。
直接下一步。
5、填入域的用户与密码
6、域模式和JDK选择默认即可。
直接下一步
7、
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ODI 工具 抽取 数据 操作手册