数据同步和接口方案.docx

数据同步和接口方案.docx

《数据同步和接口方案.docx》由会员分享，可在线阅读，更多相关《数据同步和接口方案.docx（10页珍藏版）》请在冰豆网上搜索。

数据同步和接口方案

数据同步和接口方案

修订记录

版本编号

*变化状态

变更内容

变更日期

变更人

批准日期

批准人

*变化状态：

A——增加，M——修改，D——删除

概述

1.本设计方案，主要通过“数据同步”和“数据接口”两种方式，来为各个项目和产品的提供数据支持。

方案的优点主要概括为：

a）数据同步效率高，准确性和及时性有保证。

b）数据需求方，拥有一定的可定制性和可选择性。

c）数据提供方，拥有授权控制，安全性较高，并且有特定的计量方式。

d）对数据提供方的数据库服务器压力较小。

数据同步

实现原理介绍

本次新的数据同步方案，在技术上，主要是使用SQL自带的“复制的发布与订阅”功能。

从原理上介绍来说，就是在数据提供方建立一个数据源的发布，随后在数据需求方建立对此发布的订阅，以此在两者间建立连接。

两者之间是不间断及时响应的，如果发布方数据发生更新，订阅方会在很短的延迟时间内获知更新的内容，并作出同样的修改，以此保持与发布方数据源的完全一致。

从数据同步的原理上可以看出，发布方每发生一次数据变动，订阅方都会及时获知，并作出同样的变动。

这样就解决了数据同步及时性的问题。

而且，只有发布方发生变动的数据对象，才会同步到订阅方，没有发生变动的数据，是不会进行同步的。

这些特点，相对于以往的同步方式而言，无疑既大大减少了资源的无意义耗费，也减轻了数据源服务器在集中进行同步时的性能压力。

硬件网络环境

发布方和订阅方的服务器，都必须是公司内部的，暂不允许外网的服务器进行访问。

但如遇特殊情况，外网服务器需要同步数据时，只能由项目负责人自行提供一台前置服务器，以此前置服务器在公司内网中进行订阅同步。

之后数据再向外网服务器进行传递的过程，由各项目组自行解决。

软件环境

以公司服务器为例，发布方是SQLSERVER数据库，但是可以分别面向SQLSERVER和Oracle两种数据库环境进行发布。

也就是说，订阅方可以支持当前较流行的数据库环境，通用性较好。

下面将以面向SQLSERVER发布为例，继续进行介绍。

发布方和订阅方的SQLServerAgent代理服务，必须是自动启动状态。

发布的具体步骤

1.复制-本地发布-右键-新建发布，进入发布向导：

2.选择要发布的数据库名称：

3.选择发布类型，使用“事务性发布”：

4.选择要发布的数据表名。

这里要注意，只有表中有主键列的，才可以发布，因为要保持数据同步一致性，必须依靠主键列。

这是一个必要前提，所以对于需要发布，而当前没有设置主键列的表，后续还要进行修改。

5.紧接着还可以对表中的发布数据进行筛选条件的设置。

例如，设置只发布审核状态为1的数据：

6.设定立刻运行快照代理，以初始化订阅。

7.设置快照代理安全性，分别设置正确的windows管理员账户和SQLServer管理员账户。

8.输入发布的名称，完成向导。

9.之后在本地发布列表中可以查看或设置发布。

也可以根据需要，进行多个发布，细分发布对象，优化订阅的方便性，减少冗余。

订阅的具体步骤

1.复制-本地订阅-右键-新建订阅，进入订阅向导：

2.选择发布服务器（需要通过发布服务器的用户验证），选择具体的发布对象：

3.选择分发代理的位置，这里我们选择“请求订阅”，以减轻发布服务器的压力：

4.选择要订阅的服务器和数据库：

5.设置安全性：

6.选择同步计划，默认项“连续运行”：

7.继续下一步，直到完成向导，订阅设置完成。

订阅的授权和控制

1.SQL用户授权控制

首先，为每个订阅客户建立各自的账号，这些账号对发布数据库只有只读权限。

然后，对不同的发布内容，在“右键-属性-发布访问列表”添加允许访问的用户。

这样，当不同的订阅方用各自的账户进行订阅时，就只能看见被授权访问的发布。

2.FTP授权控制

右键-属性-FTP快照，勾选允许通过FTP访问快照文件。

随后还要在发布服务器端部署一个专用的FTP站点，用来提供对快照文件的访问。

这样做有2个目的：

一是方便外网的订阅，因为他们不能通过简单的局域网文件共享来访问快照文件；二是，可以通过设置FTP用户验证和访问IP地址限制，来控制订阅权限。

计量模式

在这种同步模式下，不适宜统计具体同步的发生次数或者数据条数，因此建议采用起始时间段订阅的模式，例如：

一个月、半年、一年，或者无限期等等。

数据接口

还有种情况，订阅方可能不是需要对完整的数据进行订阅，而只是在需要的时候查询某个特定的数据。

例如：

查询某条基金在某个日期的净值；查询某个理财产品是否已经到期等等。

对于这样的需求，我们设计提供专门的数据接口程序，按订阅方可以按照预定的规范，来调用此接口，获取想要的数据。

功能设计

接口的功能设计上，具有多样性，可选择性，以及扩展性。

在初始阶段，可以尽量多设计一些常用的查询接口，供订阅方选择调用。

随着以后需求和功能的扩展，也可以方便的增加更多的接口，丰富应用。

接口部署

接口程序部署在公司服务器端，支持外网访问。

但订阅方在调用接口之前，需要先得到授权，得到唯一标识身份的授权密钥。

然后订阅方才可以在调用接口时，将此密钥和具体的调用参数，一起传递给接口程序。

只有在密钥验证通过后，才会回发查询结果数据给订阅方，否则不做任何操作。

计量模式

订阅方每查询成功一次，接口程序会做一个记录。

这样可以方便的统计任何订阅方的调用次数。