GoldenGate运维手册.docx

GoldenGate运维手册.docx

《GoldenGate运维手册.docx》由会员分享，可在线阅读，更多相关《GoldenGate运维手册.docx（27页珍藏版）》请在冰豆网上搜索。

GoldenGate运维手册

GOLDENGATE运维手册

2014年4月

文档修改记录

版本号

日期

说明

编写者

审核者

2014/4

文档编写

1OGG常用监控命令

1.1说明

对GoldenGate实例进行监控，最简单的办法是通过GGSCI命令行的方式进行。

通过在命令行输入一系列命令，并查看返回信息，来判断GoldenGate运行情况是否正常。

命令行返回的信息包括整体概况、进程运行状态、检查点信息、参数文件配置、延时等。

除了直接通过主机登录GGSCI界面之外，也可以通过GoldenGateDirectorWeb界面登录到每个GoldenGate实例，并运行GGSCI命令。

假如客户部署了很多GoldenGate实例，如果单独登录到每个实例的GGSCI界面，会很不方便，此时建议通过GoldenGateDirectorWeb界面，登录到每个实例，并运行命令行命令。

1.2启动GoldenGate进程

1）首先以启动GoldenGate进程的系统用户（一般为oracle）登录源系统。

2）进入GoldenGate安装目录，执行./ggsci进入命令行模式。

3）启动源端管理进程GGSCI>startmgr

4）同样登陆到目标端GoldenGate安装目录，执行./ggsci，然后执行GGSCI>startmgr启动管理进程。

5）在源端执行GGSCI>starter*启动所有进程

6）同样登录到备份端执行GGSCI>starter*启动所有进程

7）使用GGSCI>infoer*或者GGSCI>info<进程名>察看进程状态是否为Running（表示已经启动）。

注意有的进程需要几分钟起来，请重复命令观察其启动状态。

说明：

无论源还是目标，启动各extract/replicat进程前需要启动mgr进程。

start命令的一般用法是：

start<进程名称>

如：

GGSCI>startextdm启动一个名叫extdm的进程

也可以使用通配符，如：

GGSCI>starter*启动所有的extract和replicat进程

GGSCI>startextract*d*启动所有的包含字符‘d’extract进程

GGSCI>startreplicatrep*启动所有以“rep“开头的replicat进程

1.3停止GoldenGate进程

依照以下步骤停止GoldenGate进程：

1）以启动GoldenGate进程的系统用户（一般为oracle）登录源主机，进入GoldenGate安装目录执行./ggsci进入命令行管理界面

2）（本步骤仅针对抽取日志的主extract进程，datapump进程和replicat进程不需要本步骤）验证GoldenGate的抽取进程重起所需的日志存在，对各个主extXX进程，执行如下命令：

3）ggsci>infoextXX,showch

…..

ReadCheckpoint#1

….

RecoveryCheckpoint（positionofoldestunprocessedtransactioninthedatasource）:

Thread#:

1

Sequence#:

9671

Timestamp:

2008-05-2011:

39:

RedoFile:

Notavailable

CurrentCheckpoint（positionoflastrecordreadinthedatasource）:

Thread#:

1

Sequence#:

9671

Timestamp:

2008-05-2011:

39:

RedoFile:

NotAvailable

ReadCheckpoint#2

…..

RecoveryCheckpoint（positionofoldestunprocessedtransactioninthedatasource）:

Thread#:

2

Sequence#:

5287

Timestamp:

2008-05-2011:

37:

RedoFile:

/dev/rredo07

CurrentCheckpoint（positionoflastrecordreadinthedatasource）:

Thread#:

2

Sequence#:

5287

Timestamp:

2008-05-2011:

39:

RedoFile:

/dev/rredo07

…..

首先察看RecoveryCheckpoint所需要读取的最古老日志序列号，如举例中的实例1需要日志9671及其以后所有归档日志，实例2需要序列号为5287及以后所有归档日志，确认这些归档日志存在于归档日志目录后才可以执行下一步重起。

如果这些日志已经被删除，则下次重新启动需要先恢复归档日志。

注意：

对于OGG11及以后版本新增了自动缓存长交易的功能，缺省每隔4小时自动对未提交交易缓存到本地硬盘，这样只需要最多8个小时归档日志即可。

但是缓存长交易操作只在extract运行时有效，停止后不会再缓存，此时所需归档日志最少为8个小时加上停机时间，一般为了保险起见建议确保重启时要保留有12个小时加上停机时间的归档日志。

4）执行GGSCI>stoper*停止所有源进程，或者分别对各个进程执行stop<进程名>单独停止。

5）以oracle用户登录目标系统，进入安装目录/oraclelog1/goldengate，执行./ggsci进入命令行。

6）在目标系统执行stoper*停止复制

7）在两端进程都已停止的情况下,如需要可通过stopmgr停止各系统内的管理进程。

类似的，stop命令具有跟start命令一样的用法。

这里不再赘述。

注意，如果是只修改抽取或者复制进程参数，则不需要停止MGR。

不要轻易停止MGR进程，并且慎重使用通配符er*，以免对其他复制进程造成不利影响。

1.4查看整体运行情况

进入到GoldenGate安装目录，运行GGSCI，然后使用infoall命令查看整体运行情况。

如下图示：

Group表示进程的名称（MGR进程不显示名字）；Lag表示进程的延时；Status表示进程的状态。

有四种状态：

STARTING:

表示正在启动过程中

RUNNING：

表示进程正常运行

STOPPED：

表示进程被正常关闭

ABENDED：

表示进程非正常关闭，需要进一步调查原因

正常情况下，所有进程的状态应该为RUNNING，且Lag应该在一个合理的范围内。

1.5查看参数设置

使用viewparams<进程名>可以查看进程的参数设置。

该命令同样支持通配符*。

1.6查看进程状态

使用info<进程名称>命令可以查看进程信息。

可以查看到的信息包括进程状态、checkpoint信息、延时等。

如：

还可以使用info<进程名称>detail命令查看更详细的信息。

包括所使用的trail文件，参数文件、报告文件、警告日志的位置等。

如：

使用info<进程名称>showch命令可以查看到详细的关于checkpoint的信息，用于查看GoldenGate进程处理过的事务记录。

其中比较重要的是extract进程的recoverycheckpoint，它表示源数据中最早的未被处理的事务；通过recoverycheckpoint可以查看到该事务的redolog位于哪个日志文件以及该日志文件的序列号。

所有序列号比它大的日志文件，均需要保留。

1.7查看延时

GGSCI>lag<进程名称>可以查看详细的延时信息。

如：

此命令比用info命令查看到的延时信息更加精确。

注意，此命令只能够查看到最后一条处理过的记录的延时信息。

此命令支持通配符*。

1.8查看统计信息

GGSCI>stats<进程名称>,<时间频度>,table.可以查看进程处理的记录数。

该报告会详细的列出处理的类型和记录数。

如：

GGSCI>statsedr,total列出自进程启动以来处理的所有记录数。

GGSCI>statsedr,daily,table列出当天以来处理的有关表的所有记录数。

1.9查看运行报告

GGSCI>viewreport<进程名称>可以查看运行报告。

如：

也可以进入到/dirrpt/目录下，查看对应的报告文件。

最新的报告总是以<进程名称>.rpt命名的。

加后缀数字的报告是历史报告，数字越大对应的时间越久。

如下图示：

如果进程运行时有错误，则报告文件中会包括错误代码和详细的错误诊断信息。

通过查找错误代码，可以帮助定位错误原因，解决问题。

2OGG的常见运维任务指南

2.1配置自动删除队列

1）进入安装目录执行./ggsci；

2）执行editparammgr编辑管理进程参数，加入或修改以下行

purgeoldextracts//dirdat/*,usecheckpoint,minkeepdays7

其中，第一个参数为队列位置，*可匹配备份中心所有队列文件；

第二个参数表示是首先要保证满足检查点需要，不能删除未处理队列；

第三个参数表示最小保留多少天，后面的数字为天数。

例如，如果希望只保留队列/ggs/dirdat/xm文件3天，可以配置如下：

purgeoldextracts/ggs/dirdat/xm,usecheckpoint,minkeepdays3

3）停止MGR进程，修改好参数后重启该进程

GGSCI>stopmgr

输入y确认停止

GGSCI>startmgr

注：

临时停止mgr进程并不影响数据复制。

2.2配置启动MGR时自动启动Extract和Replicat进程

1）进入安装目录执行./ggsci；

2）执行editparammgr编辑管理进程参数，加入以下行

AUTOSTARTER*

3）停止MGR进程，修改好参数后重启该进程

GGSCI>stopmgr

GGSCI>startmgr

注意：

一般建议不用自动启动，而是手工启动，便于观察状态验证启动是否成功，同时也便于手工修改参数。

2.3配置MGR自动重新启动Extract和Replicat进程

GoldenGate具有自动重起extract或者replicat进程的功能，能够自动恢复如网络中断、数据库临时挂起等引起的错误，在系统恢复后自动重起相关进程，无需人工介入。

1）进入安装目录执行ggsci进入命令行界面；

2）执行editparammgr编辑管理进程参数，加入以下行

AUTORESTARTER*,RETRIES3,WAITMINUTES5,RESETMINUTES60

以上参数表示每5分钟尝试重新启动所有进程，共尝试三次。

以后每60分钟清零，再按照每5分钟尝试一次共试3次。

3）停止MGR进程，修改好参数后重启该进程，使修改后的参数文件生效

GGSCI>stopmgr

GGSCI>startmgr

2.4长事务管理

在停止抽取进程前需要通过命令检查是否存在长交易，以防止下次启动无法找到归档日志：

ggsci>infoextXX,showch

…..

ReadCheckpoint#1

….

RecoveryCheckpoint（positionofoldestunprocessedtransactioninthedatasource）:

Thread#:

1

Sequence#:

9671

Timestamp:

2008-05-2011:

39:

RedoFile:

Notavailable

CurrentCheckpoint（positionoflastrecordreadinthedatasource）:

Thread#:

1

Sequence#:

9671

Timestamp:

2008-05-2011:

39:

RedoFile:

NotAvailable

ReadCheckpoint#2

…..

RecoveryCheckpoint（positionofoldestunprocessedtransactioninthedatasource）:

Thread#:

2

Sequence#:

5287

Timestamp:

2008-05-2011:

37:

RedoFile:

/dev/rredo07

CurrentCheckpoint（positionoflastrecordreadinthedatasource）:

Thread#:

2

Sequence#:

5287

Timestamp:

2008-05-2011:

39:

RedoFile:

/dev/rredo07

…..

为了方便长交易的管理，GoldenGate提供了一些命令来查看这些长交易，可以帮助客户和应用开发商查找到对应长交易，并在GoldenGate中予以提交或者回滚。

（一）查看长交易的方法

Ggsci>sendextract<进程名>,showtrans[threadn][countn]

其中，<进程名>为所要察看的进程名，如extsz/extxm/extjx等；

Threadn是可选的，表示只查看其中一个节点上的未提交交易；

Countn也是可选的，表示只显示n条记录。

例如,查看extsz进程中节点1上最长的10个交易，可以通过下列命令：

Ggsci>sendextractextsz,showtransthread1count10

输出结果是以时间降序排列的所有未提交交易列表，通过xid可以查找到对应的事务，请应用开发商和DBA帮助可以查找出未提交原因，通过数据库予以提交或者回滚后GoldenGate的checkpoint会自动向前滚动。

（二）使用GoldenGate命令跳过或接受长交易的方法

在GoldenGate中强制提交或者回滚指定事务，可以通过以下命令（<>中的为参数）：

Ggsci>SENDEXTRACT<进程名>,SKIPTRANS<>THREAD<2>10m以上表示GoldenGate会每隔10分钟检查一下长交易，如果有超过12个小时的长交易，GoldenGate会在根目录下的里面加入一条告警信息。

可以通过察看或者在ggsci中执行viewggsevt命令查看这些告警信息。

以上配置可以有助于及时发现长交易并予以处理。

说明：

在OGG11g中，extract提供了BR参数可以设置每隔一段时间（默认4小时）将长交易缓存到本地硬盘（默认dirtmp目录下），因此extract只要不停止一般需要的归档日志不超过8个小时（极限情况）。

但是如果extract停掉后，便无法再自动缓存长交易，需要的归档日志就会依赖于停机时间变长。

2.5表的重新再同步（需时间窗口）

如果是某些表由于各种原因造成两边数据不一致，需要重新进行同步，可以参照以下步骤。

1）确认需要修改的表无数据变化（如果有条件建议停止应用系统并锁定除去sys和goldengate以外的其它所有用户防止升级期间数据变化，或者锁定所要再同步的表）；

2）重启dpe进程（为了能够对统计信息清零）；

3）停止目标端的rep进程；

注意：

步骤4-6为将源端数据通过exp/imp导入到目标端，客户也可以选择其它初始化方式，比如在目标端为源端表建立dblink，然后通过createtableasselectfrom的方式初始化目标端表。

4）在源端使用exp导出该表或者几张表数据。

例如：

expgoldengate/XXXXfile=tables=grants=y

5）通过ftp传输到目标端；

6）在目标端，使用imp导入数据；

nohupimpgoldengate/XXXXXfile=fromuser=ctais2touser=ctais2ignore=y&

7）如果这些表有外键，在目标端检查这些外键并禁止它们（记得维护dirsql下的禁止和启用外键的脚本SQL）；

8）启动目标端的rep进程；

9）使用statsmydpe命令观察datapump的统计信息，观察里面是否包含了本次重新同步表的数据变化，如确认该时段内这些表无数据变化，则重新初始化成功；否则中间可能产生重复数据，目标replicat会报错，将错误处理机制设置为reperrordefault,discard，等待replicat跟上后对discard中的记录进行再次验证，如果全部一致则重新初始化也算成功完成，当然也可以另择时段对这些表重新执行初始化。

2.6表的重新再同步（无需时间窗口）

如果是某些表由于各种原因造成两边数据不一致，需要重新进行同步，但实际业务始终24小时可用，不能提供时间窗口，则可以参照以下步骤。

（因较为复杂，使用需谨慎！

）

1）确认ext/dpe/rep进程均无较大延迟，否则等待追平再执行操作；

2）停止目标端的rep进程；

注意：

步骤3-5为将源端数据通过exp/imp导入到目标端，客户也可以选择其它初始化方式，比如expdp/impdp。

3）在源端获得当前的scn号。

例如：

selectfromdual;

以下以获得的scn号为1176681为例

4）在源端使用exp导出所需重新初始化的表或者几张表数据，并且指定到刚才记下的scn号。

例如：

exp/tables=grants=nstatistics=nonetriggers=ncompress=nFLASHBACK_SCN=1176681

5）通过ftp传输到目标端；

6）在目标端，使用imp导入数据；

nohupimpgoldengate/XXXXXfile=fromuser=ctais2touser=ctais2ignore=y&

7）如果这些表有外键，在目标端检查这些外键并禁止它们（记得维护dirsql下的禁止和启用外键的脚本SQL）；

8）编辑目标端对应的rep参数文件，在其map里面加入一个过滤条件，只对这些重新初始化的表应用指定scn号之后的记录（一定要注意不要修改本次初始化之外的其它表，会造成数据丢失！

）：

map,target,filter（@GETENV（"TRANSACTION","CSN"）>1176681）;

9）确认参数无误后，启动目标端的rep进程；

10）使用inforepxx或者lagrepxx直到该进程追上，停止该进程去掉filter即可进入正常复制。

3数据结构变更和应用升级

3.1（仅复制DML时）源端和目标端数据库增减复制表

（一）增加复制表

在GoldenGate的进程参数中，如果通过*来匹配所有表，因此只要符合*所匹配的条件，那么只要在源端建立了表之后GoldenGate就能自动复制，无需修改配置文件，但是需要为新增的表添加附加日志。

步骤如下：

GGSCI〉dbloginuseridgoldengate,passwordXXXXXXX

GGSCI>infotrandata.

如果不是enable则需要手动加入：

GGSCI>addtrandata.

注：

（仅对Oracle9i）如果该表有主键或者该表不超过32列，则显示enabled表示添加成功；如果无主键并且列超过32列，则可能出现错误显示无法添加则需要手工处理，此时请根据附录二中方法手工处理。

如果没有使用统配符，则需要在主Extract、DataPump里面最后的table列表里加入新的复制表；在目标端replicat的map列表同样也加入该表的映射。

然后，新增表请首先在目标端建立表结构。

如果有外键和trigger，需要在目标表临时禁止该外键和trigger，并维护在dirsql下的禁止和启用这些对象的对应脚本文件。

对于修改了文件的所有源和目标进程，均需重启进程使新的参数生效。

（二）减少复制表

GoldenGate缺省复制所有符合通配符条件的表，如果有的表不再需要，可以在源端drop掉，然后到目标drop掉，无需对复制做任何修改。

如果其中几个表依然存在，只是无需GoldenGate复制，则可以通过以下步骤排除：

1）在源端系统上首先验证所需归档日志存在后通过stopextXX停止对应的extXX进程；

2）在目标端系统上ggsci中执行stoprepXX停止目标端的复制进程；

3）在源端修改ext进程的参数文件排除所不复制的表:

Ggsci>editparamextXX

……

tableexclude*;

tableexclude*;

tableexclude$_*;

tableexclude$_*;

tableexclude*;

tableexclude;

tablectais2.*;

…….

在文件定义table的行前面加入一行“tableexclude.;”注意写全schema和表的名称。

注：

如果是没有使用通配符，则直接注释掉该表所在的table行即可。

4）在目标端修改rep进程参数，同样排除该表:

GGSCI>editparamrepXX

在map前面加入一行：

--mapexclude

mapexclude

MAPctais2.*,TARGETctais2.*;

注：

如果是没有使用通配符，则直接注释掉该表所在的map行即可。

5）在目标端系统上启动复制进程repXX

GGSCI>startrepXX

6）在源端系统上启动源端的抓取进程extXX

GGSCI>startextXX

即可进入正常复制状态。

3.2（仅复制DML时）修改表结构

当数据库需要复制的表结构有所改变，如增加列，改变某些列的属性如长度等表结构改变后，可以按照下列步骤执行：

1）按照本文前面所述操作顺序停止源和目标端各抽取及投递进程（注意停源端抽取要验证一下归档日志是否存在防止无法重起），无需停止manager进程；

2）修改目标表结构;

3）修改源表结构;

4）如果表有主键，并且本次修改未修改主键，则可以直接启动源和目标所有进程继续复制，完成本次修改；否则，如果表无主键或者本次修改了主键则需继续执行下列步骤；

ggsci>dbloginuseridgoldengate,passwordXXXXXX

ggsci>deletetrandata

ggsci>addtrandata

（仅对Oracle9