informatica开发学习.docx
- 文档编号:2160532
- 上传时间:2022-10-27
- 格式:DOCX
- 页数:49
- 大小:2.52MB
informatica开发学习.docx
《informatica开发学习.docx》由会员分享,可在线阅读,更多相关《informatica开发学习.docx(49页珍藏版)》请在冰豆网上搜索。
informatica开发学习
控件名称
RepositoryManager资料库
Designer设计器
WorkflowManager物理设计
WorkflowMonitor监控
RepositoryManager--资料库:
informatica的知识存储。
Designer设计器:
设计开发环境,定义源及目标数据结构;设计转换规则,生成ETL映射。
WorkflowManager--物理设计:
合理地实现复杂的ETL工作流,基于时间、事件的作业调度。
WorkflowMonitor--监控:
监控Workflow和Session运行情况,生成日志和报告。
注:
查看帮助Fn+F1
RepositoryManager
添加文件夹
在RepositoryManager文件夹选项添加
新建完成一个文件夹,在Designer中相应的文件夹会有业务组件、源、目标、多维数据集、维度、转换、Mapplet、映射、用户自定义的函数几个内容。
导入对象
在RepositoryManager中导入XML对象
选择存储库—导入对象如下:
选择导入的XML文件
选择导入对象。
选择导入目标文件夹。
如有冲突,会提示解决。
开始导入。
导入完成。
Designer
添加源
在PowerCenterDesigner添加源
选择要添加的文件夹
点击,这个为源设计的一个控件。
菜单栏将如下:
再选择源,然后可以选择导入源,或者创建源。
创建源
在菜单的源,选择创建。
输入源的名称和数据库类型创建,
生产如下:
双击刚刚生产的控件,进入编辑表:
表为表级信息编辑,列可以添加列信息。
导入数据库源
在菜单的源,选择从数据库导入。
输入用户名和密码,连接完成好选择所需要的表。
也可以根据需要搜索所需要的表。
导入源和创建源的比较,导入源表结构都已经生成完成,不需要一个一个字段再输入那么麻烦。
当导入一张已存在的表,如果表存在字段变更,有提示是否替换,重命名等。
比较:
可以查看表发生了哪些变更。
添加目标
在PowerCenterDesigner添加目标
目标控件,
选择目标控件后,菜单栏如下:
选择菜单列的目标可以创建目标或者导入目标,
创建目标
目标创建
输入目标名并选择数据库类型创建。
点击进入编辑目标表,
从数据库源导入
在菜单的目标,选择从数据库导入。
输入用户名和密码,连接完成好选择所需要的表。
也可以根据需要搜索所需要的表。
若导入一张已存在的表,同样提示是否替换等。
添加转换
在PowerCenterDesigner添加转换
转换控件
点击后,菜单列如下:
可以选择导入或者创建。
转换是为映射所用,在转换工作区添加的转换是可以重复使用。
也可以在设计映射的时候直接添加转换,此时的转换不能重复使用。
一般都是在设计映射的时候使用转换。
转换的类型有:
创建转换
选择转换类型,输入转换的名称创建。
点击进去可以编辑转换。
也可以直接拖控件到工作区
SourceQualifier
SourceQualifier的作用:
可以过滤数据。
可以连接同数据源的不同数据。
命名规范:
一般是以SQ_开头。
数据过滤条件。
也就是SQL里面的where条件。
点击生成SQL将自动生成where条件。
更新策略
在Mapping中:
用UpdateStrategyTransformation标识行为Insert,Update,Delete或者Reject;
命名规范:
一般是以UPD_开头,插入UPD_INS,更新UPD_UPD,删除UPD_DEL,拒绝UPD_REJ。
ForwardRejectedRows:
勾选时被Rejected的行会存入对应Target配置的Reject文件中去,不选时,可能会写入SessionLog中去,根椐当前Transformation的TracingLevel的属性来决定;如果在会话属性中配置了出错行日志属性,则不会生成Reject文件。
DD_INSERT:
更新策略为插入数据。
DD_UPDATE:
更新策略为更新数据,必须要有主键,主键应该等于update语句的where条件。
DD_DELETE:
删除数据。
DD_REJECT:
更新策略为拒绝。
表达式转换
用来执行单行计算,在计算表达式中,可以使用输入端口,输入/输出端口,可以使用函数,但数据源只能是一个。
命名规范:
一般是以EXP_开头。
当为只是输出内容时,可编辑表达式来表达输出内容,可以使用函数等等。
可以通过验证来检查表达式是否有错误。
汇总器转换
Aggregator可用于聚合统计。
命名规范:
一般是以AGG_开头。
只允许聚合表达式出现在AggregatorTransformation组件中只允许聚合表达式出现在AggregatorTransformation组件中
聚合函数:
AVG,COUNT,FIRST,LAST,MAX,MEDIAN,MIN,PERCENTILE,STDDEV,SUM,VARIANCE
表达式转换中也能使用函数,但是使用聚合函数会提示只能在AggregatorTransformation组件中使用。
它只有一个输入组,一个输出组。
筛选器转换
Filter用来过滤数据,只有FilterCondition评估为真的数据才能通过;将Filter尽可能地靠近Source可以提升性能;Filter只能接受来自单个Transformation的数据流;Filter只有一种输入/输出端口,默认值无效。
命名规范:
一般是以FIL_开头。
FilterCondition就是一个判断条件,判断成功了的数据才能通过。
查找转换
Lookup分为连接型和非连接型的,连接型的可以传送多个返回值给其它的Transformation,非连接型的只能有一个返回端口,在表达式中用Lookup函数(:
LKP())来调用。
命名规范:
一般是以LKP_开头。
当使用查找转换控件时,它会提示你要查找源或者是目标:
Lookup的端口除了I,O之外,还有L和R;L查找(lookup)R返回值(return)
连接型:
非连接型:
非连接型的只能有一个返回端口,在表达式中用Lookup函数(:
LKP())来调用。
如:
:
LKP.LKPTRANS(EMPNO),LKPTRANS为查找转换控件的名称。
多匹配行处理策略:
返回第一行,返回最一行,报错,返回任一值。
序列生成器
生成序列数值。
可以使用它创建唯一的主键值、替代缺失的主键或在一定有序数字范围内循环。
命名规范:
一般是以SEQ_开头。
它有两个字段,下一个值和当前值。
可以设定它的开始值,间隔值,最大值,当前值,是否循环等。
连接转换器
Joiner可以用来连接两个相关的不同来源的数据源。
命名规范:
一般是以JNR_开头。
连接方式有,内连接,左外连接,右外连接,全外连接。
条件为两个表的关联的条件。
规范器转换
在关系型数据库处理中,Normalizer用来从一行变成多行,行列转换。
命名规范:
一般是以NRM_开头。
如:
本来是输出一行,有个10个字段。
经过规范转换可以顺一列有10行数据。
列名:
为输出多少个列
出现次数:
该列输入字段个数
Reset和Restart属性:
会话结束时重置GK值到上次的值或者到1;
如果两个都没有选,则下次回话GK会在上次的值+1开始。
GeneratedKey,自动产生不能删除的端口,命名为GK_XXX,由这个端口产生一个序列号值,在需要时可以作为主键,运行成功后会在知识库中保存下一个值,可以在Mapping中看到下一个值,可以修改这个值;
路由转换
Router转换为:
一个输入组,可以有多个输出组。
每个输出组可以条件输出条件,满足条件的就在一个组输出。
命名规范:
一般是以RTR_开头。
UNION转换
UNION转换相当于UNIONALL语句,可以有多个输入组,但是只能有一个输出组。
命名规范:
一般是以UN_开头。
首先要建输入组。
在添加组端口字段。
输出结果像UNIONALL一样。
SQL转换
SQL转换有查询模式和脚本模式。
命名规范:
一般是以SQL_开头。
查询模式:
输入查询语句,返回查询结果
脚本模式:
执行脚本
查询模式:
(1)静态连接
选择查询模式。
数据库连接模式:
静态连接就是在工作流的映射里指定,动态连接就是转换控件中传入参数。
编辑转换控件,SQL端口可以编辑输入、输出的内容。
要注意字段的长度要足够。
默认有SQLError字段输出,这是执行语句失败输出的内容。
还是可以添加SQL语句执行返回的输出。
SQL查询要指定查询语句,不然报错没有查询语句。
SQL查询返回字段多少个,SQL输出必须添加多少个端口名称。
多少个字段,按查询的字段顺序输出。
这里映射就是指定静态连接。
控件会比静态的自动多一个字段LogicalConnectionObject,这就是连接的目标,但是映射配置主要有效的参数设置。
添加Mapplet
在PowerCenterDesigner添加Mapplet
菜单如下:
添加映射
在PowerCenterDesigner添加映射
命名规范:
一般是以m_开头+数据流向+表名+增全量。
如:
m_eas_ods_t_ea_person_inc
映射:
相当于是一个方法,可以供工作流或者是工作集来调用。
菜单如下:
在映射菜单下创建或者导入:
创建映射:
输入映射名称确定。
保存时候会解析是否有明显错误。
引用参数和变量:
当需要引用参数和变量时,可以在映射参数和变量下声明参数和变量,
然后参数和参数的值可以写在一个参数文件中,在工作流中指定参数文件就可以进行读取参数了。
参数名称规则:
以$$开头。
增量操作:
时间增量:
有时间条件,可以根据时间条件来限制增量抽取。
没有时间的:
可以使用目标表和源表关联,可以判断哪些是新增的,哪些是删除的,再通过字段的HASH值或者MD5值来判断字段是否有变化,有变化就是更新的。
to_number
(nvl(dbms_utility.get_hash_value($$T_BC_DailyLoanBillEntry,0,power(2,30)),0))
asL_HASHVALUE用来计算HASH值,$$T_BC_DailyLoanBillEntry是一个变量,为需要关注是否发生变化的值,多个值用||来分隔。
或者使用MD5值,MD5(字段1||字段2||字段3||…)
PowerCenterWorkflowManager
在PowerCenterWorkflowManager中可以添加会话,工作集,工作流。
添加会话
在PowerCenterWorkflowManager添加会话。
添加会话
菜单将如下:
要填会话,必须在Designer中有可用映射。
选择任务创建:
选项映射
添加工作集
在PowerCenterWorkflowManager添加工作集。
菜单如下:
可用创建工作集
生产如下
可用添加工作集内容
可用添加会话,然后直接指定映射。
添加工作流
在Pow
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- informatica 开发 学习