SymmetricDS数据同步工具安装使用说明书.docx
- 文档编号:3156521
- 上传时间:2022-11-18
- 格式:DOCX
- 页数:17
- 大小:162.45KB
SymmetricDS数据同步工具安装使用说明书.docx
《SymmetricDS数据同步工具安装使用说明书.docx》由会员分享,可在线阅读,更多相关《SymmetricDS数据同步工具安装使用说明书.docx(17页珍藏版)》请在冰豆网上搜索。
SymmetricDS数据同步工具安装使用说明书
SymmetricDS数据同步工具
安装使用说明书
随着大数据产品功能的丰富,以及用户对于大数据的时效性的需求,需要」款能够实现跨数据库,以及同一种数据库跨版本的数据同步工具,同时要能够支撑数据库到Kafka的数据推送。
目前大数据技术组研发了一款yhbi的同步工具,支持从oracle到oracle的同步,以及oracle到Kafka的同步,但是受限于不能支持oracle12c版本数据的
同步。
OGG也可以实现oracle至ijoracle,以及oracle到其他目标端数据库或者消息队列的同步,但OGG的费用、维护成本较高。
故采用了一款名为SymmetricDS的开源数据库同步工具。
2.简介
SymmetricDS就像其名称一样,是为了实现数据源的对称性"也就是数据同步。
SymmetricDS是用于数据库和文件同步的开源软件,支持多主复制、过滤同步和转换。
它使用web(HTTP传输)和数据库技术(触发器)将更改数据复制
为预定的或接近实时的操作,并且它还包含了完整数据负载的初始负载特性。
该软件的设计目的是针对大量节点,跨低带宽连接工作,并经得起网络中断。
2.1.概述
SymmetricDS的同步原理如下图所示。
HTTPS
<=>
Node
ExternalIO0
G『ou。
sen/er
HTTP5
节点负责使用HTTP将来自数据库或文件系统的数据与网络中的其他节点进行同步。
节点被分配给作为一个单元配置在一起的节点组之一。
节点组与组链接链接在一起,以定义推或拉通信。
pull使一个节点与其他节点连接并请求正在等待的更改,而push使一个节点在需要发送更改时与其他节点连接。
每个节点都通过使用连接URL用户名和密码的Java数据库连接(JDB砥区动程序连接到数据库。
虽然节点可以跨广泛的区域网络进行分隔,但是为了获得最佳性能,节点所连接的数据库应该位于局域网络附近。
节点使用其数据库连接创建表作为配置设置和运行时操作的数据模型。
用户填充配置表以定义同步,运行
时表捕获更改并跟踪活动。
要同步的表可以位于连接可访问的任何目录和模式中,而要同步的文件可以位于本地服务器可访问的任何目录中。
在启动时,SymmetricDS查找节点属性文件,并为找到的每个文件启动一个节点,这允许多个节点在同一个实例中运行并共享资源。
节点的属性文件包含其外部ID、节点组、注册服务器URL和数据库连接信息。
外部ID是用于从其他节点识别它的节点的名称。
一个节点被配置为存储主配置的注册服务器。
当第一次启动节点时,它使用发送外部ID和节点组的注册进程与注册服务器联系。
作为响应,节点接收其配置和节点密码,这些密码必须在与其他节点同步时作为身份验证发送。
2.2.架构
节点中的每个子系统负责部分数据移动,并通过配置进行控制。
数据流经系
统的步骤如下:
3..捕获到源数据库的运行时表中
4..发送到目标节点和成批组的路由
5..提取并转换为输出批处理所需的行、列和值
6..将发出的批处理发送到目标节点
7..在目标节点接收到的批处理
8..转换为进入批处理所需的行、列和值
9..加载数据并向源节点返回确认信息
10.
架构图如下图所示:
特点
SymmetricDSI供了丰富的特性集,具有灵活的配置,可用于在具有多个系统的混合环境中进行大规模部署。
#数据同步
更改关系数据库的数据捕获和文件系统的文件同步可以是周期性的,也可以
是接近实时的,有一个初始负载特性可以完全填充节点。
#集中管理
从一个可以调查和解决冲突和错误的集中位置配置、监视和故障排除同步。
1.3.自动恢复
数据传送是持久的和低维护,承受停机时间和自动从网络故障恢复。
1.3.安全和高效
通信使用为低带宽网络设计的数据协议,并通过HTTPS专输加密传输。
1.3.转换
在多个点上操作数据,以过滤、子集、转换、合并和丰富数据。
1.3.冲突管理
通过配置自动和手动解决的规则来加强双向同步的一致性。
1.3.可扩展
可以配置脚本和Java代码来处理事件、转换数据和创建自定义行为。
1.3.部署选项
软件可以作为独立的自包含服务器安装,部署到web应用服务器,或者嵌
入到应用程序中。
3.安装
SymmetricDS官方提供了3种安装方法。
独立安装
SymmetricDS安装和运行作为一个独立的进程使用内置Jettyweb服务器。
这是安装实例最简单也是最推荐的方法。
WebArchive(WAR)
将SymmetricDSWebArchive(WA国件部署到单独安装、维护和运行的现有
Web应用程序容器中。
嵌入式
SymmetricDS嵌入在现有的应用程序中。
在这个选项中,编写了一个定制的包装程序,它调用SymmetricDSAP来同步数据。
在本文档中,只对前两种方法做介绍,并且是在同一台服务器上部署corp
节点(主)和store节点(从),实现一主一从的数据同步。
#安装前准备
1下载
下载地址:
下载后的文件是一个zip压缩文件。
呈切
1上传
把文件上传到服务器。
#独立安装
1主节点
unzipsymmetric-server-3.9.13.zip
mvsymmetric-server-3.9.13symmetric-corp
配置文件
cdsymmetric-corp
sample目录下默认放置了一些配置文件,需要复制到engines目录下。
cpsamples/corp-000.propertiesengines/
viengines/corp-000.properties
on>gino.naro-
*db.dnver^M?
irysqL.jdbc.OrivardbH(jri^r«
"dO.d「Ner»o「jwstq「esqL(>「jver
#db.drL¥er=or;|apache,derb/.jdbchEhbeddedDriver
#db.driver-urj.hsqldb.jdbcDriver
如七.dnv&r—nat.toijrcflfonga.j'tdE.]dbc.Driver
#dtirdrivAr=cDnUmdb?
jcc.PF?
Drisr?
db.dri^er=con.mfonix.jd&c.ifxD-iver#db.dri/er-^or5,'fire&irdsql.]dbc.FBDrivsr
#db.drir-irttftrbas0.intercIient.Driver
*曲.duv电r=org10BC
#如rdrLwer=co«sybatejdbc*jrtjc.sybori^r
#dL.山iverson.iiuuiJi}.jdbc.Diivei
*db.driver-or;.h2.Oriver
aTh#JDGCURLusedto8rHMttothedatjbdE»
孝柚.u「l=:
dbc:
ri产t]1:
"】nrallo^t/rnT^riT/rntilsp
dtliL「l=
#db.url=jdbc;jD5tgre5ql;/7locfllhost/cor[»rii[]type=jiispecified
#db.jrl-'dt>c:
知lb-url=: dbc: iscldb: "il&: c»rp: shij^dcwn=true #db,url=jdbc: j1ds: silserver: >/locilhost;1433iuseCur&ors=tn>e: butf&rRa>Heni)ry=10^4e: lot)Ehjfter=5242380孑此.url=jdbc: lb2i/ZlocdUiUit/coip #db.url-"dk>c;Lnformix-sqli;//localhost;9OBE/Cirp: Ifir9RMIXSERVER^olids1LS01 #db.url-jdk>c: fir€bi*dEql.;ljcalho3t;^var/lib/fircbir(i/data/databa5(? iaffe.url=jdbciinterbit&;//l&calho9t/;cipt/interba5#/clata/corpJgdlh *dtiPurl-jdbC! ^l]te: cnqj.5fil.iTe #dL.url"jdtx;;$yL^^: Tds: lin;dlhast: 50CO/ildt^bd^enair« #dbHurl-jcbc;CMrtnuadb;//IocalhD3t/dat3b»se? 5chwi^database 善曲,url
QUT-60(»0dbHuser-
db.passwrrrt=sync.u-1=qr«Lp.id—extemat.id-;c-b.pu飞口.pariod上111。
.尸互=[rknoJtgpn门江t=用号.帖二ji-b.pubh.^jerijil.lnie.iBS=[j)tb.pull.periid.tine,msj-initial.lcddr:
rcate.firnt--
需要修改
源库连接信息
db.driver
db.url
db.user
db.password
同步的主节点地址
sync.url
端口配置
Specilythehostname/IPaddresstobindto.(Default0.0.0.0willbindtoallinterlaces.)#
host.bind.nan&=
aEnabletyfichirtinizationaverHTTP.#
tiTtp.enatile=
PortnuiiberfcrsynchronzatioooverHTTP.
I
http.port^
aEnabletync^ronizatiftnovarHTTPS1Hmp«varSSL).
#
httfjs.eHdbl”il■
Po「tnumberforsynchroAizationoverHTTPS(HTTPoi^erSSL).
用
https.port-lMl-
Ifeftatru<»tm前nmg@「thatallowsse-1f-£ign*?
dserverSSLcertificates.*
https.dllow.self-signed►terts-
Listhostnamesthatareallowedfo「serverSSLcertificates.
https.verified,server,names--
FnahlplavaManagAinpntFxtPisifins(1KX)wpbconsole.#
jinx,http,enable
P0rtnumberforJavaManagerentExtensions(JMX)w?
bconsole.
#
jnix.http.pQrt^31416|
从节点
unzipsymmetric-server-3.9.13.zip
mvsymmetric-server-3.9.13symmetric-corp
3.2.2.1.配置文件
cdsymmetric-corp
cpsamples/store-001.propertiesengines/
viengines/store-001.properties
mjifte.nns-
*『hetlsqnaivefurtheJUKDriver
Mo.drivar-cw而遇qlJdbc.Drr/or
db51rivQF-1-1-—「「d
ftdD.driversrg.postqresql.D
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- SymmetricDS 数据 同步 工具 安装 使用 说明书