CDC不同模式在ODI中体现系列之一同步模式.docx
- 文档编号:6787728
- 上传时间:2023-01-10
- 格式:DOCX
- 页数:13
- 大小:266.94KB
CDC不同模式在ODI中体现系列之一同步模式.docx
《CDC不同模式在ODI中体现系列之一同步模式.docx》由会员分享,可在线阅读,更多相关《CDC不同模式在ODI中体现系列之一同步模式.docx(13页珍藏版)》请在冰豆网上搜索。
CDC不同模式在ODI中体现系列之一同步模式
CDC不同模式在ODI中体现系列之一同步模式
变化数据捕获是一个通称,是用来描述捕捉增量变化应用到数据存储。
随着数据量的不断增长和数据存储日益变化,数据捕获是数据仓库一个重要功能,特
别是要求实时或近实时的数据仓库。
在Oracle数据库概念中,数据采集的变化数据库功能,能够在Oracle数据
库上捕捉增量。
传统上你会必须修改源代码的应用,以捕获增量变化。
Oracle的变化数据捕获使增量变化捕获而不对源程序做任何更改。
Oracle数据库10g第2版介绍异步分布式CDC,比原有9i数据库第2版有了
更大的提高。
这食谱介绍如何设置这样一个异步变化数据捕获环境。
模式分类对比:
(SynchronousMode)通过在源库上建立trigger的方式来捕获同步CDC模式
增量数据,因此可以做到实时抽取增量数据.
异步HotLog模式(AsynchronousHotLogMode)直接从sourcedatabase的onlineredologfile中抽取增量数据,由于需要解析日志文件,会有一定的时间延迟。
changetable也必须在源库中生成。
该模式由于是在源数据库中解析日志,对源数据库也会造成一定的压力,但是比同步CDC模式的压力要小一些。
异步分布式HotLog模式(AsynchronousDistributedHotLogMode)和异步HotLog模式相比,主要是将多个sourcedatabase的当前联机日志中解析出增量数据,然后传递一个stagingdatabase中处理,便于集中式数据管理。
异步AutoLog模式(AsynchronousAutoLogMode)则是先将日志文件从sourcedatabase传递到stagingdatabase,然后在stagingdatabase执行日
志分析。
这样可以将对sourcedatabase的压力减到最小
PublishersandSubscribers(发布用户和订阅用户)
publisher就是发布变化数据捕捉的数据库用户.所以在ODI需要先创建一
个发布者.
subscriber就是通过所谓的订购,利用这个捕捉的变化数据的数据库用户,
也可以理解为订阅者.
出于安全原因,发布者和订阅用户不应该是相同的数据库用户。
一个
Publisher可以支持许多subscriber用户。
CDC利用变化表和用户视图。
数据变化写入变化表为使用CDC提供了一个可
扩展的基础架构.用户针对变化表的数据可以获得一致数据变化集的视图。
用户
可以扩展和清除订阅窗户,通过数据库视图,隐式地改变数据集。
如果没有任何
用户订阅变化数据,变化表中的数据可以被清除。
CDC通过PL/SQL包进行调用.
CDC有两种捕捉数据方式同步CDC和异步CDC.异步CDC又分3种模式:
异步HotLog模式,异步分布式HotLog模式,异步
AutoLog模式.
同步CDC模式创建方式:
1.创建Publisher用户,在sys用户中创建变化表集(changeset),然后在变
化集中创建相应的变化表
(changetable),一个changeset可以对应多个changetable.
2.创建Subscriber用户,publisher用户把changetable访问权限授予
subscriber用户.
3.Subscriber可以创建subscription(订阅),通过创建subscribe可以订阅
changeset中多个sourcetable,
这个table是changetable的源表.
4.激活订阅activatesubscription
5.扩展窗口extend_windows,扩展窗口以后才能看到数据变化.如果想每次
都看到数据的变化,必须每次扩展窗口.
上面的5个步骤,是在Oracle数据库中实施的步骤,那么在ODI中如何体现
下面我们来具体的实施方法.呢?
因为同步模式CDC是通过触发器的方式来实现,所以数据库可以运行在非归
档的模式下.
1.在ODI中CDC是通过日志知识模块来实施的,所以我们首先要引入知识模
块
在ODI项目中选择日记JKM,然后选择右键,导入知识模块,因为我们是用同步模式CDC,选择"JKMOracleSimple"知识KM就可以,我们还可以看到JKM
OracleConsistent,再后面的异步CDC,我们会引用进来,呵呵.
2.
在模型属性中选择日志记录TAB页,然后选择简单,选择日志记录KM时,可以看到刚才我们添加的KM,JKMOracleSimple.CDC,这个KM下面有说明,不适合频繁的操作,不会对生产系统带来价值,反而影响性能.因为这个JKM是触发器的形
式.
这个时候,我们在模型中也已经定义好了JKM,下面就可以在模型的Data
Store中进行添加到CDC,我们也可以针对整个模式做CDC,这里我们选择单独的
DataStore.
我们先查看系统已有的触发器:
SQL>connodi_tmp/odi_tmp
已连接。
SQL>select*fromuser_triggers;
未选定行
SQL>
可以看到目前开发用户下面是没有触发器的.
选择JKM以后,点击应用.
后面,我们可以通过数据库确认ODI在数据库中建立了触发器.
3.开始添加DataStore到数据源
添加数据源到CDC以后,会看到CDC左上角出现一个表的橙色图标,表示已经
加到CDC,但是还没有启动.
4.启动日志
启动日志以后,我们需要定义ODI的订阅者,也就是需要捕捉这个日志数据
的用户.
启动日志会弹出执行对话框,选择相应的上下文,如果切换到生产库,切换上
下文就可以.
5.开始订阅日志,选择订阅用户
订阅时,因为我们用SUPERVISOR用户登录,所以系统会默认用
SUNOPSIS用户
点击确定以后,可以看到DataStore的左上角有个绿色时钟的图标,表示已
经成功启动CDC
6.查看CDC的订阅状态
绿色图标表示已经成功订阅.
7.确认数据库中是否也用相应的触发器
这个时候,再次查看ODI_TMP下面的触发器,为什么要查看ODI_TMP下面:
因为我们在TopologyManager当中定义ORACLE连接的时候,就已定义了工
作架构的用户,
默认是和架构用户一样,所以我们可以看到选择工作架构用户的好处.
这时可以看到触发器已经成功被ODI创建:
SQL>select
trigger_name,trigger_type,table_name,status,action_typefrom
user_triggers;
TRIGGER_NATRIGGER_TYPETABLE_NASTATUSACTION_TYPE
--------------------------------------------------
----------------------
T$CUSTOMERAFTEREACHROWCUSTOMERENABLEDPL/SQL
8.我们来测试CDC同步模式的数据
我们右键选择数据模型以后,点击数据,进行数据的编辑
点击+号,我们添入一条数据
点击应用以后,我们可以看到数据已经加入
点击日志数据,查看CDC是否已经成功捕捉数据库表的数据
9.查看ODI是否捕捉数据
我们在接口把同步CDC加入到接口中
我们点击源数据源下面有个”仅已记录日记记录的数据”前面的方框,点击
以后,就把CDC成功添加到接口了.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CDC 不同 模式 ODI 体现 系列 之一 同步