Kettle开发使用手册.docx

Kettle开发使用手册.docx

《Kettle开发使用手册.docx》由会员分享，可在线阅读，更多相关《Kettle开发使用手册.docx（9页珍藏版）》请在冰豆网上搜索。

Kettle开发使用手册

Kettle开发使用手册

Kettle开发使用手册

2017年4月

1

Kettle开发使用手册

版本历史说明

版本作者日期备注

1.0彭伟峰2017.04.11

2

Kettle开发使用手册

1.Kettle介绍

1.1.什么是Kettle

Kettle是纯Java编写的、免费开源的ETL工具，主要用于抽取（Extraction）、

转换（Transformation）、和装载（Loading）数据。

Kettle中文名称叫水壶，该

项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流

出。

在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例如

Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。

1.2.Kettle的安装

Kettle工具是不需要安装的，直接网上下载解压就可以运行了。

不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。

运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示：

图1.1

3

Kettle开发使用手册

2.Kettle脚本开发

2.1.建立资源库（repository仓库）

Repository仓库是用来存储所有kettle文件的文件系统，由于数据交换平台服

务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle开

发环境也是要用到该资源库。

建立资源库的方式是工具-->资源库-->连接资

源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettle

filerepository选项，按确定，如图2.1所示：

图2.1

跟着在右上角选择一个目录，建议在kettle路径下新建repository文件

夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示：

图2.2

建完后会kettle工具会自动连接到repository资源库，每次打开kettle

也会弹出一个窗口让你先连接到资源库。

在连接到资源库的情况下打开文件就是

资源库所在目录了，如图2.3所示。

注意你在资源库建的目录结构要跟数据交换

平台的目录结构一致，这样写好kettle脚本，保存后放的路径能跟交换平台的

目录结构一致了。

4

Kettle开发使用手册

图2.3

2.2.在目标数据库里新建表

在做数据迁移的时候我们需要先在目标数据库建立与源数据库类似的表结构，才能在这两张表之间做数据迁移，以oracle数据库到gp数据库，T_SF_DWJFDJXX_TEST表做数据迁移为例，我们先建类似的表结构，首先先把表结构的代码拷出来：

createtableT_SF_DWJFDJXX_TEST

（

NSRNBMNUMBER（10）notnull,

DWSBHVARCHAR2（18）notnull,

JFDWNBMNUMBER（10）notnull,

HYFL_DMCHAR

（1）notnull,

JFDWLX_DMCHAR（3）notnull,

SBJC_DMCHAR

（2）notnull,

SBGLJG_DMVARCHAR2（11）notnull,

SWGLJG_DMVARCHAR2（11）notnull,

SBDJ_ZTCHAR

（2）notnull,

DJSLRY_DMVARCHAR2（11）,

DJSL_RQDATE,

LRRY_DMVARCHAR2（11）,

XGRY_DMVARCHAR2（11）,

DJ_RQDATE,

DJJG_DMVARCHAR2（11）,

LR_SJTIMESTAMP（6）,

XG_SJTIMESTAMP（6）,

ZDFY_BJCHAR

（1）,

XMMCVARCHAR2（100）,

KNQYBZ_DMCHAR

（1）,

ZDYCKJN_BJCHAR

（1）,

SJJHPT_SJTIMESTAMP（6）,

SJJHPT_DZNUMBER（14）

）;

5

Kettle开发使用手册

跟着在这个表结构的基础上，在目标数据库创建新表。

需要注意的是，gp数据库的数据类型有些跟oracle的一样，有些不同。

相同的就不用改了，不同的就

改下。

以上面的数据类型为例，相同的有char、date、timestamp，不同的是

varchar2和number，因此，varchar2（n）要改成varchar（n），number（n）要改成

integer（注意不带数字长度n）。

建完之后，我们就可以在这不同数据库的两张表之间进行数据迁移或数据定时传输。

2.3.源数据库和目标数据库的jndi设置

Jndi是kettle连接数据库的配置文件，相当于oracle的tns。

Jndi设置的目录是在kettle目录下的simple-jndi文件夹里，打开后编辑jdbc.properties

来设置jndi，下面附上公司揭阳涉税项目oracle到gp数据库的jndi设置，分

别是源端oracle数据库和目标端gp数据库。

配置信息的斜杠左边是jndi名，

这里jndi的命名规则是数据库名_用户名，注意本地的jndi名要跟交换平台的jndi名一致。

配置信息的斜杠右边分别是数据库类型、驱动、数据库地址、用户名和密码。

注意，相同数据库配置写法相同，不同数据库的配置写法略有不同，像下面的oracle和gp数据库的driver和url地址写法就不一样。

oracle_db_mhpt/type=javax.sql.DataSource

oracle_db_mhpt/driver=oracle.jdbc.driver.OracleDriver

oracle_db_mhpt/url=jdbc:

oracle:

thin:

@172.16.11.91:

1521:

zrmhdb

oracle_db_mhpt/user=db_mhpt

oracle_db_mhpt/password=DB_MHPT

gp_public/type=javax.sql.DataSource

gp_public/driver=org.postgresql.Driver

gp_public/url=jdbc:

postgresql:

//172.16.11.165:

5432/postgres

gp_public/database=8

gp_public/user=gpadmin

gp_public/password=gpadmin

2.4.写kettle脚本

Kettle脚本有两种，ktr脚本跟kjb脚本，其中ktr负责执行，具体要做什么

由ktr来负责；kjb负责调度，调用一个或多个ktr。

Ktr和kjb的关系类似于像员工和领导之间，员工负责具体的事务操作，领导负责计划安排工作。

新建

ktr脚本可以点击左上角的文件-->新建-->转换，新建kjb脚本就文件-->新建-->作业。

我们这里传输数据只要用到kjb脚本，一张表的数据传输要有1个脚本。

首先先新建一个ktr文件，如图2.4所示，跟着我们按照主界面的提示拖动主键来操作。

拖动组件在核心对象的组件库里。

6

Kettle开发使用手册

图2.4

跟着我们需要4个组件，分别是获取变量、表输入、字符串操作、插入/更新，先从组件库里找到这些组件然后拖动到右边面板上，查找组件可以用组件名称来在组建的搜索框里搜索。

拖动后如图2.5所示。

图2.5

然后给他们组件之间建立连接，用拉箭头来连接即可，如图2.6所示：

图2.6

7

Kettle开发使用手册

组件之间连接完之后，跟着双击组件一个个编辑。

第一步是获取变量，在获

取变量前首先要设置入参用来获取变量，设置变量先双击主对象树的ktr名（转

换1是未保存文件到本地的默认名），跟着设置命名参数。

如图2.7跟2.8所示。

其中start_timestamp和end_timestamp这两个是数据交换平台服务器上默认的用于增量抽取数据的两个入参，分别表示数据开始时间跟数据结束时间。

这里填上了默认值方便测试。

图2.7图2.8

设置入参后再编辑获取变量的组件，这里名称跟入参一样，kettle变量名的写法是${Variables}，类型我们选择string，因为服务器上交换平台传进来

的start_timestamp和end_timestamp参数也是string类型的，我们这里跟它一致。

也如图2.9所示：

8

Kettle开发使用手册

图2.9

第二步是表输入，首先要先连接数据库，之前我们在本地文件上配置了jndi，

这里jndi就用得上。

新建或编辑数据库连接，选择好连接的数据库，还有jndi连接方式，再填上jndi名称和连接名称，设置完了就点击左下角的测试来测试本地能不能连上数据库。

连上了我们才做其他的步骤。

图2.10

连通好后，写好sql语句。

这里sql语句用到变量，kettle变量的写法是${variables}，而使用变量要在左右两端再加上单引号，变成’${variables}’。

注意数据库后台的日期类型是date，而变量是字符串类型，因此需要做个变量

的类型转换。

因为有使用变量，所以需要勾上“替换sql语句里的变量”单选框。

设置好后可以预览下数据看下。

9

Kettle开发使用手册

图2.11

第三步是字段去除左右空格，编辑“字符串操作”，点getfields获取从

上个步骤表表输入获取的字段名，然后把trimtype全部选择both，意思是去

除字段左右两端的空格。

如果getfields得到的字段有start_timestamp和

end_timestamp这两个，这两个多余的，就删去。

如下图所示：

图2.12

第四步是插入数据到目标端的新表，首先是要先连通目标端的数据库。

设置好后再点击“测试”连通到目标端的数据库。

10

Kettle开发使用手册

图2.13

跟着是设置目标表（目标模式可以不填），点击浏览选择模式/用户下的数据库表。

然后设置每插入多少条数据提交的提交记录数量，用来查询的关键字选择主键的字段，而更新字段是全部，点击获取字段即可。

他这里操作的原理是：

如果目标表有符合该查询的条件的记录时，那么更新此条数据；不符合时，那么将源表的此条数据插入到目标表。

11

Kettle开发使用手册

图2.14

这四个步骤编辑完成后最后就是执行这四个步骤了，点击左上角的运行图

标，设置时间参数或者时间参数按照默认值，运行后，如果全部组件都有绿色勾勾的标志的话说明全部运行成功，如下图所示。

如果某一个步骤失败的话就是红色勾勾的标志，这时候就要看日志或者步骤度量来分析了。

从下面的步骤度量看表输入有1条数据输入进来，插入/更新步骤有1条数据写进去了。

12

Kettle开发使用手册

图2.15

3.在数据交换平台设置定时任务

以公司这边的数据交换平台为例（http:

//172.16.11.17:

9001/WebContent

13

Kettle开发使用手册

admin/admin），如果交换平台的jndi设置没有设置的话，那么要首先设置这样跑kettle脚本的话才能连到数据库，注意本地kettle的jndi名要跟交换平台的jndi名一致，需要统一命名。

图3.1

跟着将脚本放上服务器，可以在页面上上传文件到服务器。

图3.2

14

Kettle开发使用手册

上传好后，需要先跑一回脚本跑成功才能设置定时调度，所以我们先运行一

次。

注意数据的起始时间（start_timestamp）默认是1970年，首次运行可以改

下。

数据的结束时间（end_timestamp）是当前的时间点。

图3.3

运行成功后，跟着再设定时任务，按要求设置调度频率。

图3.4

15

Kettle开发使用手册

最后再通过运行日志监控调度的情况。

如果失败的话，可以点击“查看”看运行详情，里面的“再次运行”可以重跑数据。

运行详情最右侧的“查看”可以看日志信息，万一数据跑失败可以通过日志来分析情况。

图3.5

16