南大通用大数据新型列存储数据库GBase 8a gbload.docx

南大通用大数据新型列存储数据库GBase 8a gbload.docx

《南大通用大数据新型列存储数据库GBase 8a gbload.docx》由会员分享，可在线阅读，更多相关《南大通用大数据新型列存储数据库GBase 8a gbload.docx（41页珍藏版）》请在冰豆网上搜索。

南大通用大数据新型列存储数据库GBase8agbload

GBase8agbloader参考手册,南大通用数据技术有限公司

GBase版权所有©2004-2012,保留所有权利。

版权声明

本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数据技术有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护。

XX许可,不得非法使用。

免责声明

本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。

在法律允许的范围内,您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。

任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利。

本文档中包含的信息如有更新,恕不另行通知。

您对本文档的任何问题,可直接向南大通用数据技术有限公司告知或查询。

未经本公司明确授予的任何权利均予保留。

通讯方式

南大通用数据技术有限公司

天津华苑产业区海泰发展六道6号海泰绿色产业基地J座（300384

电话:

400-817-9696邮箱:

info@

商标声明

标,注册商标专用权由南大通用公司合法拥有,受法律保护。

未经南大通用公司书面许可,任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用销售。

凡侵犯南大通用公司商标权的,南大通用公司将依法追究其法律责任。

GBase8agbloader参考手册

南大通用数据技术有限公司I目录

联系我们（1

前言（2

相关手册（2

手册约定（2

正文约定（2

代码示例约定（2

操作系统约定（3

1概述（4

1.1简介（4

1.2安装（4

1.3基本操作（4

1.4拓扑图（5

2数据源及数据准备（6

2.1orato8a（6

2.1.1参数说明（8

2.1.1.1batch（8

2.1.1.2field（8

2.1.1.3file（8

2.1.1.4format（9

2.1.1.5log（9

2.1.1.6query（9

2.1.1.7shm_mode（10

2.1.1.8user（10

2.1.2应用实例（11

2.1.2.1导出文本格式数据（11

2.1.2.2导出二进制格式数据（13

2.1.2.3导出到共享内存（14

2.2gbunloader（15

2.2.1参数说明（15

2.2.1.1batch（15

2.2.1.2database（16

2.2.1.3field（16

2.2.1.4file（16

2.2.1.5format（17

GBase8agbloader参考手册

II

南大通用数据技术有限公司2.2.1.6host........................................172.2.1.7log.........................................172.2.1.8password....................................182.2.1.9port........................................182.2.1.10query......................................182.2.1.11shm_mode...................................192.2.1.12socket.....................................192.2.1.13user.......................................192.2.2应用实例.........................................203gbloader配置介绍（21

3.1gbloader特性（21

3.2gbloader参数说明（21

3.2.1必选配置（21

3.2.2可选配置（22

3.2.3charset（22

3.2.4commit_lines（23

3.2.5db_name（23

3.2.6delimiter（23

3.2.7error_data_file（24

3.2.8escape_character（24

3.2.9format（24

3.2.10infile_mode（24

3.2.11insert（25

3.2.12load_data_infile（25

3.2.13log（25

3.2.14parallel（26

3.2.15partition（26

3.2.16password（26

3.2.17port（27

3.2.18scn_number（27

3.2.19socket（27

3.2.20string_qualifier（27

3.2.21table_fields（28

3.2.22table_name（28

3.2.23trim（28

3.2.24user（28

3.3用例:

（29

GBase8agbloader参考手册

南大通用数据技术有限公司III3.3.1一个简单的数据加载示例（文本....................293.3.2一个简单的数据加载示例（二进制..................303.3.3一个简单的数据加载示例（共享内存................313.3.4如何导入多个数据文件..............................343.3.5如何处理文本字段中含有分隔符的数据加载............353.3.6如何处理特殊字符..................................403.3.7如何加载全部数据到一个分区中......................443.3.8如何加载全部数据到多个分区中......................473.3.9如果数据文件和表定义不一致怎么办..................503.3.10如何处理不同的字符集.............................553.3.11如何利用多核特性加载数据.........................573.3.12如何保留数据中尾部的空格.........................593.3.13如何加载其它Linux服务器上的数据.................624

异常处理.....................................................664.1正常结束..............................................664.2异常情况..............................................665

附录.........................................................685.1Oracle中的创建表脚本.................................685.2GBase8a中的创建表脚本...............................686

索引（70

GBase8agbloader参考手册

南大通用数据技术有限公司-1-

联系我们

南大通用欢迎您对此手册提出自己的宝贵意见和建议,您的意见和建议将成为完善此手册的重要部分。

●

您发现手册中的错误了吗?

●

您认为手册中的哪些部分描述的还不太清楚?

●

您认为手册中还需要在哪些方面提供更多的内容?

●

手册中的示例正确吗?

您还是否需要更多的示例?

●您喜欢手册中的哪些部分?

如果您发现了手册中的错误,或者您有更好的意见和建议,请您标明需要改正或改进部分的页码、章节号、标题,及手册中的内容（如果可能。

您可以通过下面的方式将您的意见和建议发送给我们。

电子邮件:

info@

电话:

400-817-9696

传真:

022-********

通信地址:

天津滨海高新区海泰绿色产业基地J座

如果您希望收到我们的回复,请您告诉我们您的姓名,电话,或者电子邮箱地址。

如果您对我们的软件有任何问题,请您联系我们的技术支持人员。

GBase8agbloader参考手册

-2-南大通用数据技术有限公司

前言

本手册将指导您如对GBase8a数据库进行数据的导入/导出。

相关手册

《GBase8a安装手册》

《GBase8aSQL参考手册》

《GBase8a管理员手册》

手册约定

正文约定

表6-1代码示例约定

GBase8agbloader参考手册

南大通用数据技术有限公司-3-

表6-2

操作系统约定

假定用户使用的操作系统为RedHatLinux,用户的Shell为BashShell。

GBase8agbloader参考手册

-4-南大通用数据技术有限公司

1概述

1.1简介

为了提高GBase8a的数据加载速度,GBase8a数据库提供了专用的数据加载工具--gbloader。

该工具是一个命令行工具,用于从满足一定格式的数据文件中快速加载数据到GBase8a数据库。

gbloader工具是一个线程并行的数据加载工具,可以充分利用多核CPU的处理能力进行数据加载,因此数据加载效率很高。

在运用PCServer的硬件环境下,可以获得200GB/h的加载性能。

使用高端服务器和专用阵列设备可以大幅提高加载能力,在高端配置的条件下,多表并行数据加载速度最大可以达到500GB/h。

1.2安装

gbloader随GBase8a一起安装,该文件被安装在$GBASE_HOME/bin下。

1.3基本操作

gbloader的命令格式是:

gbloader[OPTIONS]<控制文件>

其中,OPTIONS包括以下选项:

--user=user_name,数据库用户名

--password=password,数据库用户的登录密码

示例如下:

gbloader--user=root--password=linnalineorder.ctl

1.4拓扑图

gbloader从控制文件中获得数据加载的必要信息和数据文件的相关信息,将数据加载到GBase8a中。

对于加载过程中加载失败的数据,记录在失败数据指定的文件中。

对于加载过程中的相关显示信息,记录在日志文件中。

2数据源及数据准备

gbloader支持多种数据源。

gbloader的数据源可以是具体一定格式的文本文件,也可以是GBase公司专用的二进制数据文件,还可以是由GBase公司专用工具生成的共享内存文件。

常用的为gbloader提供数据文件的工具有orato8a和gbunloader。

orato8a为从Oracle数据库向GBase8a数据库迁移数据的工具,gbunloader为从GBase8a中导出数据的工具。

由gbunloader工具导出的数据可以方便的导入另外一个GBase8a数据库。

2.1orato8a

orato8a是一个可以快速、高效的从Oracle数据库中抽取数据的专用工具。

orato8a通过Oracle的OCI接口访问数据,运行orato8a的计算机需要安装Oracle数据库或客户端。

orato8a随GBase8a一起安装,该文件被安装在$GBASE_HOME/bin下。

为了在非Oracle安装用户可以访问Oracle,通常只要将该用户加入到Oracle安装用户所在的组中,设置Oracle的安装目录允许同组的用户可以访问,并在该用户中正确设置ORACLE_BASE,ORACLE_HOME,ORACLE_SID,及将$ORACLE_HOME/bin加入到PATH变量,将$ORACLE_HOME/lib加入LD_LIBRARY_PATH变量即可。

如我们希望在linna用户下可以正常运行orato8a,则登录到root用户下:

[root@gbase555~]#groupslinna

linna:

linna

[root@gbase555~]#groupsoracle

oracle:

oinstalldba

[root@gbase555~]#usermod-Goinstall,dbalinna

[root@gbase555~]#groupslinna

linna:

linnaoinstalldba

在linna用户的根目录下的.bash_profile中加入下面的内容后,用source命令执行.bash_profile中的内容。

ORACLE_BASE=/home/oracle/oracle

exportORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

exportORACLE_HOME

ORACLE_SID=maya

exportORACLE_SID

PATH=$ORACLE_HOME/bin:

$PATH

exportPATH

LD_LIBRARY_PATH=/usr/local/lib:

$LD_LIBRARY_PATH

exportLD_LIBRARY_PATH

[linna@gbase555~]$source.bash_profile

执行sqlplus命令,登录sqlplus。

[linna@gbase555~]$sqlplus/nolog

SQL*Plus:

Release10.2.0.4.0-ProductiononThuAug418:

38:

412011Copyright（c1982,2007,Oracle.AllRightsReserved.

SQL>

出现提示符,成功登录Oracle的sqlplus。

如果采用编辑/etc/group的方法添加用户的组,可以在保存后,使用pwconv将更改应用到shadow中,使修改即刻生效。

2.1.1参数说明

2.1.1.1batch

语法

batch=number_value

功能

该参数指明将多少条记录单独保存为一个单独的数据文件。

该参数需要与file参数配合使用。

当指定batch参数时,file参数指定的文件名中应包含%b。

2.1.1.2field

语法

field=char_value

功能

当导出的数据为文本格式时,指定分隔各字段的分隔符。

只能指定一个字符,或者为一个转义符后接一个字符。

不能指定\n和\r。

2.1.1.3file

语法

file=string_value

功能

该参数指定数据文件名。

该参数可以为一个包含绝对路径的文件名,也可以为一个包含相对路径的文件名。

当该参数为一个不包含路径的文件名时,该文件被保存在当前路径中。

当参数文件中指定batch参数时,file参数中应包含%b字符。

%b为占位符,用于产生多个文件时,对产生的多个文件进行顺序编号。

2.1.1.4format

语法

format=[0|2]

功能

控制导出数据的格式。

当设置为0时,导出数据为文本格式;当设置为2时,导出数据为二进制格式。

该参数的默认值为2。

2.1.1.5log

语法

log=string_value

功能

记录抽取时的日志信息。

2.1.1.6query

语法

query=string_value

功能

配置抽取数据所使用的SQL语句。

由于查询语句常有空格,该参数在指定时,需要用双引号限定。

查询语句为一个合法的Oracle查询语句,且只返回一个结果集。

2.1.1.7shm_mode

语法

shm_mode=[0|1]

功能

控制导出文件的方式。

当参数设置为0时,导出方式为文件方式;当参数设置为1时,导出方式为共享内存方式。

该参数的默认值为0。

当采用共享内存方式时,orato8a可以和gbloader通过共享一个128M的内存来传输数据。

gbloader在加载数据时,需要在控制文件中设置infile_mode为1。

使用该方式加载数据时,orato8a必须与GBase8aServer运行在同一台服务器上。

先启动orato8a抽取工具,然后再启动gbloader导入工具,就可以实现gbloader共享内存方式的数据导入。

2.1.1.8user

语法

user=string_value

功能

配置登录Oracle数据库的用户名、密码和数据库本地服务名,该参数的格式为用户名称/密码@数据库本地服务名。

2.1.2应用实例

为了演示,在Oracle的ssbm用户中,创建表lineorder,结构如下:

SQL>desclineorder;

NameNull?

Type

------------------------------------------------------------------LO_ORDERKEYNUMBER（18

LO_LINENUMBERNUMBER（18

LO_CUSTKEYNUMBER（18

LO_PARTKEYNUMBER（18

LO_SUPPKEYNUMBER（18

LO_ORDERDATENUMBER（18

LO_ORDERPRIORITYVARCHAR2（15

LO_SHIPPRIORITYVARCHAR2（1

LO_QUANTITYNUMBER（18

LO_EXTENDEDPRICENUMBER（18

LO_ORDTOTALPRICENUMBER（18

LO_DISCOUNTNUMBER（18

LO_REVENUENUMBER（18

LO_SUPPLYCOSTNUMBER（18

LO_TAXNUMBER（18

LO_COMMITDATENUMBER（18

LO_SHIPMODEVARCHAR2（10在这个表中,已经加载一个scale的测试数据。

2.1.2.1导出文本格式数据

执行orato8a,将format参数设置为0,即可将数据导出为文本格式。

[linna@gbase555~]$orato8a--user=ssbm/ssbm@maya--query="select*fromlineorder"--file=/home/linna/lineorder.txt--field=";"

--format=0

youmachineisLittleendian!

---unload[textfile]mode---

---field=";"---

LogonDBSucess!

PrepareOK:

ALTERSESSIONSETNLS_DATE_FORMAT='YYYY-MM-DDHH24:

MI:

SS'PrepareOK:

ALTERSESSIONSETNLS_TIMESTAMP_FORMAT='YYYY-MM-DD

HH24:

MI:

SSXFF'

PrepareOK:

ALTERSESSIONSETNLS_TIMESTAMP_TZ_FORMAT='YYYY-MM-DDHH24:

MI:

SSXFFTZH:

TZM'

PrepareOK:

select*fromlineorder

PrepareSQLSucess!

executeStmtSucess!

0rowsexportedat2011-09-0910:

40:

04

6001215rowsexportedat2011-09-0910:

41:

13

outputfile/home/linna/lineorder.txtclosed

export:

6001215rows.

export:

17columns.

exporttime:

1min9.92sec.

在导出过程中,我们可以看到unload[textfile]mode,说明导出为文本模式。

导出成功后,我们用head命令查看导出的文件。

我们可以看到,导出的文件为文本格式,各个字段之间用分号进行分隔。

2.1.2.2导出二进制格式数据

执行orato8a,将format参数设置为2,即可将数据导出为二进制格式。

[linna@gbase555~]$orato8a--user=ssbm/ssbm@maya--query="select*fromlineorder"--file=/home/linna/lineorder.bin--format=2

youmachineisLittleendian!

---unload[binaryfile]mode---

LogonDBSucess!

PrepareOK:

ALTERSESSIONSETNLS_DATE_FORMAT='YYYY-MM-DDHH24:

MI:

SS'PrepareOK:

ALTERSESSIONSETNLS_TIMESTAMP_FORMAT='YYYY-MM-DD

HH24:

MI:

SSXFF'

PrepareOK:

ALTERSESSIONSETNLS_TIMESTAMP_TZ_FORMAT='YYYY-MM-DDHH24:

MI:

SSXFFTZH:

TZM'

PrepareOK:

select*fromlineorder

PrepareSQLSucess!

executeStmtSucess!

0rowsexportedat2011-09-0910:

46:

49

6001215rowsexportedat2011-09-0910:

48:

00

outputfile/home/linna/lineorder.binclosed

export:

6001215rows.

export:

17columns.

exporttime:

1min11.16sec.

在导出过程中,我们可以看到unload[binaryfile]mode,说明导出为二进制模式。

导出成功后,我们用head命令查看

注意这里,我们在用head查看时,没有使用-n参数,而是使用-c参数。

如