证监会数据交换子系统详细设计项目技术解决方案建议书模板范文完整方案.docx

证监会数据交换子系统详细设计项目技术解决方案建议书模板范文完整方案.docx

《证监会数据交换子系统详细设计项目技术解决方案建议书模板范文完整方案.docx》由会员分享，可在线阅读，更多相关《证监会数据交换子系统详细设计项目技术解决方案建议书模板范文完整方案.docx（48页珍藏版）》请在冰豆网上搜索。

证监会数据交换子系统详细设计项目技术解决方案建议书模板范文完整方案

1.1数据交换子系统详细设计——王星宇、金蝶配合

按照招标文件要求里、章节，逐条应答

1.1.1系统功能概述

1.1.2系统功能结构图

1.1.3交换服务模块

1.1.3.1业务功能概述

交换服务模块是数据交换子系统的核心模块，实现了互联网与证联网的数据同步过程以及数据采集与交换平台的数据上载过程。

完成了数据的抽取、数据的加工处理、数据的传输、数据的加载等工作。

1.1.3.1.1互联网数据自动上载功能

在互联网部署的部分是报表数据采集的主要渠道，采集主体包括上市公司，非上市公司、律师事务所以及其他中介结构等上百家机构的填报数据，抓取新闻媒体数据，数据种类包括结构化、半结构化、非结构化数据等几十种类型，互联网部分系统中间库向证联网中间库的报表数据上载采用自动机制，以提升报送数据上载及时性与任务执行的可靠性。

业务进行分为以下两个阶段：

一、报表数据自动上载任务配置阶段。

系统配置管理员在内部网登录数据交换平台，配置数据抓取同步任务明细规则，系统根据管理人员对任务的录入信息，自动生成每项任务中的数据传输种类、周期时间点及频次、协议、检查点、加工等任务属性。

在证联网端首次创建任务或对任务进行属性维护后，即触发从证联网端到互联网端的任务配置信息同步，将最新的任务信息同步更新到互联网端系统内，以保证互联网端系统上载任务的准确执行。

二、报表数据上载任务的自动调度与执行监控。

同步系统按照已配属的数据同步任务属性，按需自动启动由互联网端至证联网端的数据上载任务，并自动调度任务执行进程内的程序逻辑进行跨越网闸的数据传输，在数据上载任务执行过程中，系统实时监控任务的进行状态，并对各类情况进行自动处理。

在同一时间点，系统允许同时自动调度多个并发任务执行数据上载同步。

1.1.3.1.2证联网基础数据下发同步功能

数据传输系统的特点是跨网络部署，在两个网络下需要同时考虑系统级配置数据与业务类配置数据的同步。

对于分别部署在证联网和互联网两端的传输系统需要遵循一致的配置，管理人员在证联网内分别对各子系统进行配置后，使用数据交换子系统的配置同步功能触发与互联网端各子系统的配置同步。

报表的配置作为重要的业务环节需要在证联网端统一执行创建、维护等管理动作，管理人员在证联网端的报送子系统内进行各监管对象机构所需报送的报表原表样的配置及报送需求维护，此类核心业务管理数据要求通过数据同步子系统进行由证联网端到互联网端的单向同步。

1.1.3.1.3证联网中间库数据自动上载功能

数据采集与交换系统作为中央监管信息平台系统重要的前置数据采集应用，需要构建与中央数据库的数据传输机制。

数据采集与交换系统的证联网端与中央数据库建立业务交互通道，将本系统的证联网中间库与中央数据库的数据进行同步上载。

管理人员利用数据交换子系统的传输任务配置功能，配置由中间库至中央数据库的数据上载任务，包括时间点、任务周期及数据范围、种类等属性信息。

数据交换子系统的自动任务调度功能根据任务的配置要求自动执行上载及同步动作。

上载需支持增量同步及必要的数据校验、加工，以保证目标端与源端的数据一致性。

1.1.3.1.4证联网中央数据库数据自动上载到内网功能

系统支持中央数据库证联网部分数据需要根据业务需求上载到内网的业务场景。

管理人员利用数据交换子系统的传输任务配置功能，配置由中央数据库至内网的数据上载任务，包括时间点、任务周期及数据范围、种类等属性信息。

数据交换子系统的自动任务调度功能根据任务的配置要求自动执行上载及同步动作。

上载需支持增量同步及必要的数据校验、加工，以保证目标端与源端的数据一致性。

1.1.3.1.5内网中央数据库数据自动上载到证联网功能

系统支持内网部分数据需要根据业务需求上载中央数据库正联网的业务场景。

管理人员利用数据交换子系统的传输任务配置功能，配置由内网至中央数据库的数据上载任务，包括时间点、任务周期及数据范围、种类等属性信息。

数据交换子系统的自动任务调度功能根据任务的配置要求自动执行上载及同步动作。

上载需支持增量同步及必要的数据校验、加工，以保证目标端与源端的数据一致性

1.1.3.1.6系统报表数据按需实时上载功能设计

报表数据由采集与交换系统至中央监管数据库的按需上载是上述自动上载中央数据库业务的补充。

实施上载分为以下两种情况：

一、报表数据由互联网报送子系统写入互联网端中间库后开始，由管理人员在互联网端报送管理子系统向数据交换子系统发起实时上载请求，数据交换子系统响应请求随即触发由互联网端到证联网端所需实时上载的报表数据同步，并同时触发证联网端任务调度功能将完成同步后的报表数据上载至中央监管数据库。

二、当需实时上报的数据已经在上一个自动调度执行的由互联网到证联网的数据同步周期内同步到证联网中间库，实时上报的业务请求在两端均可发起，系统管理人员在证联网端报送管理子系统中选取报表，触发数据交换子系统执行实时任务，将报表数据上载同步至中央数据库。

1.1.3.1.7文件数据上载过程管理功能

场景为文件数据上载至证联网系统中间库的执行过程中，文件数据由数据采集及报送系统抓取产生，并放置到指定的位置。

数据采集及报送系统的执行和监控由数据上载系统统一调度监控管理。

数据上载系统和数据采集及报送子系统部署在证联网。

系统监控与分析人员首先根据文件数据的特点配置定期执行的数据上载任务。

数据上载系统通过数据采集报送系统提供的获得数据采集及报送系统采集系统的配置及日志信息，然后通过交换配置功能生成传输控制数据给任务调度程序，自动或手动触发数据传输到中间库。

全过程中，数据上载系统统一处理通知消息、过程监控信息、处置反馈等信息等。

1.1.3.2系统功能概述

交换服务模块是数据交换子系统的核心模块，实现了互联网与证联网的数据同步过程以及数据采集与交换平台的数据上载过程。

完成了数据的抽取、数据的加工处理、数据的传输、数据的加载等工作。

1.1.3.3数据源适配

1.1.3.3.1系统界面设计

1.1.3.3.2功能应用

数据交换平台提供数据源适配功能，能够与多种关系型数据库进行适配，主流的数据库包括、、、、等。

具体支持内容如下：

●支持、、、、、等主流数据库以及达梦、神通等国产数据库。

●支持，、文本文件

●支持数据仓库数据源

●支持等主流的分布式存储系统

●支持等主流的分布式文件系统

●支持对个性化数据源的扩展。

1.1.3.4数据抽取

1.1.3.4.1系统界面设计

1.1.3.4.2功能应用

具有多种数据抽取的组件，包括关系型数据库的抽取组件和格式化文件的抽取组件。

根据数据交换的需求场景不同使用不同的组件来完成各种场景下的数据抽取功能。

对数据抽取的功能支持如下：

●支持数据的增量抽取，在改变数据源结构的情况下实现增量数据捕获，支持自动将变更数据标识变化操作（）,用于后续增量同步操作。

●支持如因网络中断、源端异常或目标端异常等原因导致同步中断，在异常排除后，系统支持自动从断点继续进行同步，无需人工干预。

●支持将数据抽取功能发布为接口

●数据抽取到文件提供页面进行文件的下载和管理维护。

●数据抽取到文件支持基于标准的格式压缩，数据包要求无大小限制。

●支持自定义查询数据

●支持与数据质量校验接口对接，作为数据质量校验数据输入

●数据抽取的性能要求高于数据加载的效率，具体参考数据加载组件性能描述。

1.1.3.5数据加载

1.1.3.5.1系统界面设计

1.1.3.5.2功能应用

具有多种数据加载的组件，包括关系型数据库的加载组件和格式化文件的加载组件。

根据数据交换的需求场景不同使用不同的组件来完成各种场景下的数据加载功能。

对数据加载的功能支持包括：

●支持依据加载策略配置，实现数据的增量加载，支持自动识别变更数据标识

●支持依据加载策略配置，自动识别数据唯一性，实现数据存在则更新，不存在则插入策略

●支持依据加载策略配置，自动识别数据缺失，实现目标字段无值则更新，有值则忽略的更新策略

●支持将数据加载功能发布为接口，共其他业务系统调用

●支持批量并行加载

●基于文件的加载，支持直接读取压缩包的数据

●支持如因网络中断、源端异常或目标端异常等原因导致加载中断，则依据加载配置策略，支持提交或事务回滚操作。

●数据加载的性能支持，单个业务处理，单条数据加载时间小于毫秒，非并发单表加载时间支持大于，每小时处理数据量大于。

1.1.3.6数据传输

1.1.3.6.1系统界面设计

1.1.3.6.2功能应用

具有传输的组件，可以通过标准的组件结合消息中间件或其他应用进行数据的传输，同时也具有与等进行对接的组件。

通过这些组件能够实现数据的可靠传输。

对数据传输的支持包括：

●支持等多种传输协议，支持接口传输。

●支持传输过程对数据进行加密、加密、签名处理

●支持文件压缩与解压缩

●如因网络中断、服务器宕机等异常情况，支持系统恢复正常后自动从断点进行传输，无需人工干预

●基于文件的传输，无网络限制的情况，单业务传输性能大于

●支持并行传输

●支持对数据文件的备份

1.1.3.7异常处理

1.1.3.7.1系统界面设计

1.1.3.7.2功能应用

具有对异常处理的功能，根据流程的设计和预先的判断，在做任务流程的时候使用内置的异常处理组件处理在数据处理过程中遇到的异常问题，同时可以利用中的记录日志和发送邮件等组件将问题记录下来，便于管理人员管理。

对异常处理的支持包括：

●支持当服务器宕机后的自动恢复重启

●支持源端恢复后自动恢复，支持断点续抽

●数据加载过程中目标端异常，支持恢复后自动恢复

●数据传输过程中异常，恢复后，支持自动实现断点续传

●数据抽取、加工、加载过程中由于数据的异常，支持对错误数据的忽略处理、临时存储，对错误记录进行存储、分析、修正、重新处理的功能

1.1.3.8数据加工

1.1.3.8.1系统界面设计

1.1.3.8.2功能应用

具有丰富的数据加工处理的组件，包括但不限于：

行转列、字符串剪切、字段拆分等组件。

通过组件的组合能够将数据交换过程中对数据的处理进行有效的转换工作。

使数据更加清晰和明确。

1.1.3.9调度触发

1.1.3.9.1系统界面设计

1.1.3.9.2功能应用

的开始组件中具有任务调度的功能，能够设定任务开始的时间、任务的间隔周期，还可以设置任务的定时启动和按照时间间隔启动。

同时在一个任务流程中包含多个子流程的情况下，还可以设置流程中的子流程的启动情况，包括并行和串行启动。

具体的调度触发功能包括：

●支持配置方式，同时执行多个数据交换时

●支持依据配置自动控制执行并发交换数控制，支持交换任务排队

●支持过期补偿执行。

●支持上次任务还未执行完成，再次出发时支持排队，支持队列查看与管理功能。

●支持并行的处理，内存、磁盘、网络理想的情况下，依据数量，能够支持以上任务的无干扰并发。

1.1.3.10加密解密

1.1.3.10.1系统界面设计

1.1.3.10.2功能应用

具有加密和解密组件，通过加密和解密组件能够将数据交换过程中的敏感数据进行加密处理，使得数据交换的安全得以保证。

同时也具有解密组件，能够将交换过来的数据进行解密，然后将解密的数据加载到相应的目标端。

产品对加密和解密具体支持包括：

●支持对交换数据的加密、解密处理

●支持使用对称加密以及秘钥加密方式

●支持对加密算法的自定义扩展。

1.1.3.11网络隔离交换

1.1.3.11.1功能应用

支持离线交换功能来实现互联网与证联网数据交换，具体功能如下：

●提供数据导出功能，支持将互联网与证联网的中间库数据导出为指定格式的数据文件（包括）

●提供数据导入功能，支持将指定格式的数据文件（包括等）通过浏览器和指定文件存储的形式导入到中间数据库。

1.1.4资源管理模块

1.1.4.1系统功能概述

数据交换平台提供页面对数据交换系统所有规则配置数据的管理和维护,实现大部分简单数据交换的配置，降低使用难度。

包括对数据资源的管理、数据标准的管理、映射模型管理、交换规则管理以及调度规则管理等配置数据。

数据交换平台提供统一架构管理控制台，支持多种主流浏览器，包括：

、、、、等。

同时，支持将配置资源统一的存储在主流的关系型数据库中（包括等）。

1.1.4.2数据源管理

1.1.4.2.1系统界面设计

1.1.4.2.2功能应用

数据交换平台提供数据源管理功能，支持多种数据源接入，并统一管理，通过页面实现对数据源的新增、修改，删除参与数据交换的相关的基础信息，以关系型数据库为例：

定义数据源名称，数据库类型，数据库驱动类名，连接，用户名，密码等信息。

以供数据交换流程使用。

数据交换平台支持多种数据源接入，提供对数据源的全维度管理功能，对所有接入数据交换系统的数据资源进行统一的管理，所提供的功能包括但不限于：

●关系型数据库（包括、、、、、等主流数据库以及达梦、神通等国产数据库）

●文件存储系统（包括文件夹）

●文件传输系统（包括）

●主流的分布式文件系统（包括、等）。

●提供对数据源的查询、新建、修改、删除功能。

●提供对数据源的分组管理功能。

●针对于关系型数据库类型数据源，提供连接池参数的配置，支持管理员依据项目实际情况对连接池配置调优。

1.1.4.3映射模块管理

1.1.4.3.1系统界面设计

1.1.4.3.2功能应用

数据交换平台提供对与数据交换相关的数据同步、上载等业务源与目标的映射关系管理，包括字段映射、抽取规则、数据转换逻辑、数据加载规则等。

数据交换平台满足业务需求提供多种功能，包含但不限于：

●支持基于数据标准的建模工具

●支持图形化拖拽方式的映射关系配置功能。

●支持离线定义映射规则

●支持字段的自动匹配。

●支持在同一工具中管理分布式网络多个数据交换系统的映射模型。

●提供抽取规则配置，配置对源端数据的抽取规则，支持抽取事务级别控制、多表关联、增量抽取规则配置、去重以及查询条件等配置。

●支持转换规则配置，配置对数据的转换处理规则，支持拆分、合并、类型转换、字符串截取、计算表达式、常量等转换规则配置。

●支持自动加载规则配置，配置对数据加载策略规则，支持加载方式（、、、、，增量加载）配置。

支持错误数据处理配置，支持出错终止与忽略错误数据继续执行的配置。

●当数据标准结构发生变化时支持通过修改映射模型的方式调整，只需要重新发布映射模型，不需要修改交换任务等配置，不需要重启交换服务。

●支持映射模型导出和导入

●支持批量创建数据标准同构的数据映射模型

●支持按名称等条件的检索功能。

1.1.4.4任务模型管理

1.1.4.4.1系统界面设计

1.1.4.4.2功能应用

数据交换平台内置基于定时任务框架的企业级调度引擎，可以非常方便设定作业的调度任务，并交由运行服务器执行。

数据交换平台管理监控平台提供可视化的界面配置即可完成复杂的调度设置，对于特定的调度计划，用户可以直接配置调度引擎表达式，调度引擎将解析调度表达式并按时按频率执行所调度的任务。

另外，对于简单量小的调度任务，用户也可以借助于操作系统本身的计划任务来执行相关作业和转换，数据交换平台提供相关操作系统环境相关的处理脚本以便直接执行作业任务。

并提供如下功能：

●提供基于的图形化交换任务模型配置方式。

以可视化流程的方式管理交换规则资源与监控数据流转

●管理数据交换的流程，配置串行、并行数据交换流程

●支持执行数据同步、数据上载、传输等操作。

●支持按名称等条件的检索功能。

●支持配置执行映射规则、文件传输规则、数据库存储过程，程序等。

1.1.4.5调度配置

1.1.4.5.1系统界面设计

1.1.4.5.2功能应用

数据交换平台支持对数据交换任务的执行周期进行配置，并按配置周期触发交换任务，调度支持与一到多个交换任务关联，同时交换任务支持同时被一到多个调度触发执行。

周期性执行的交换任务要求同时支持手动、实时接口触发的执行方式。

数据交换平台提供多种调度方式、调度周期，包含但不限于：

●支持查询、新建、修改、删除、启用禁用调度配置

●支持配置秒级、分钟级、小时级、天级、周级、月级的策略，支持按需配置出任意的执行周期

●支持按名称等条件的检索功能

●支持查看执行周期

●支持配置并发的任务数大于个

●可根据业务量大小和数据量大小设计调度周期

1.1.4.6交换节点管理

1.1.4.6.1系统界面设计

1.1.4.6.2功能应用

数据交换平台提供节点管理功能，通过页面配置在交换网络内的所有节点进行统一管理，并支持多网间、跨网络的节点管理，满足整体业务对节点管理的需求，提供如下功能：

●支持互联网与证联网数据交换系统的对接,包括支持相互传递命令数据、业务数据以及配置数据

●提供节点拓扑图形化管理，支持在统一的管理页面统一管理

●支持注册、修改、删除交换节点

●支持实时监控交换节点的在线、离线状态

●支持按节点名称等条件的检索

1.1.4.7数据标准管理

1.1.4.7.1系统界面设计

1.1.4.7.2功能应用

数据交换平台提供完善的资源库管理功能，支持对数据标准的统一管理和存储，作为整个组织重要资产统一管理、维护、跟踪和共享。

资源库遵循行业标准，包含但不限于如下功能：

●支持元模型规范

●支持（）元数据交换规范

●规范

●提供可视化方式配置数据标准，能够支持主动抽取数据标准，提供对数据标准的变更与维护的支持，提供与其他工具（数据质量、数据分析、挖掘）交换与集成的支持。

●数据标准管理功能支持抽取关系数据库的基础数据结构，包括数据库表名称、字段名称、数据类型、相关注释以及主外键关联关系等信息。

●当原始数据结构发生变更的情况下，不需要调整数据标准即可实现系统的自动适应，避免重复配置数据交换规则。

●支持对结构化数据标准的描述，包括关系型数据库表、视图、查询等

●支持对半结构化数据标准的描述，包括格式、文件格式、文本文件格式等。

●支持对非结构化数据标准的描述，包括、等。

●为适应个性化数据源以及数据标准统一管理，基于标准模型扩展,提供对个性化数据源数据标准管理功能。

●支持对数据标准的新建、修改、删除等、分组管理与查询功能。

●支持对数据标准的导出导入功能

●支持按名称等条件的检索功能。

1.1.5系统配置模块

1.1.5.1系统功能概述

数据交换平台提供系统配置功能，在保证交换平台正常运行的前提下对软件资源和硬件资源的合理使用，通过配置实现对启动脚本、虚拟机、线程等资源进行管理，实现与操作系统、网络、硬件的良好兼容运行。

并根据项目需要支持热部署模式，允许数据交换平台自动加载更新程序。

1.1.5.2系统参数配置

1.1.5.2.1系统界面设计

1.1.5.2.2功能应用

数据交换平台提供系统参数配置页面，系统管理员支持对系统进行整体配置和维护，配置完成后立即生效，不需要重启服务。

主要支持如下参数配置：

●支持对并发数的控制参数配置

●支持对数据缓存控制参数配置

1.1.5.3基础数据同步管理

数据交换平台提供基础数据管理功能，通过独立传输通道将节点、数据源、任务、交换、调度等信息进行全网共享。

平台子节点添加相关基础数据自动同步到中心节点，子节点升级、迁移等操作自动从中心节点下载基础数据信息。

数据交换平台基础数据同步功能结合权限控制，根据节点权限控制是否有上传、下载等功能；同时，基础数据同步默认分配用户为系统管理员。

1.1.5.4系统升级

数据交换平台提供系统升级功能，支持通过部署升级服务器下载升级包和手动导入升级包的方式升级，并保证版本的向前兼容。

支持页面在线升级，无需重启系统。

1.1.5.5权限管理

1.1.5.5.1系统界面设计

●添加组织关系

●添加用户

●添加角色

1.1.5.5.2功能应用

数据交换平台提供系统用户进行统一权限配置，与中央监管信息平台统一的安全认证与授权，同时系统提供独立的业务授权策略和功能。

从页面、服务接口、资源、功能、业务数据五个方面细粒度的管理用户具有的权限。

同时系统需要根据用户具有的权限对用户的功能范围进行控制，加强系统信息安全性保障。

●页面访问权限管理

数据交换平台针对资源管理、任务执行等功能都提供了相应的功能页面，系统支持基于角色对用户允许访问的页面进行配置，同时支持针对具体用户的访问权限进行细粒度定制。

用户登录系统，并且基于中央监管信息平台统一的安全认证成功以后，系统基于当前用户具有的权限对用户能够访问的页面进行控制。

可使用（分配）菜单权限和可管理组织范围逐级递减。

●资源权限管理

数据交换平台支持包括交换节点、数据源、数据标准、映射模型、交换任务和调度规则类型资源支持基于不同角色，配置相应资源类型的管理权限。

数据交换系统的资源通过在数据库统一管理，为保证系统的信息安全，支持按照不同的组织机构控制用户能够管理的具体资源。

数据交换平台统一管理业务数据源、数据标准、映射模型等敏感信息，支持配置用户能够查看、添加、修改或者删除相关资源的管理权限。

●业务数据访问权限管理

数据交换平台具有业务数据库、数据文件、数据服务等敏感资源的访问权限，为了防止敏感信息的泄露，可控制用户访问数据的横向权限和纵向权限。

基于横向数据权限控制，即允许用户访问的数据范围。

基于用户所在的组织结构控制用户能够访问的业务数据范围。

基于纵向数据权限控制，即允许用户访问的数据深度。

基于用户所在的级别控制用户能够访问的具体业务数据。

●功能权限管理

数据交换平台支持包括资源管理、监控、启动交换任务等功能，为防止用户恶意变更、删除系统资源，恶意启动交换任务等行为，系统允许基于用户角色配置当前用户允许执行的功能权限。

针对不具有执行特定功能权限的用户，系统直接在系统管理页面上将相应的功能操作屏蔽，用户不可见。

支持基于用户角色的配置功能权限管理页面。

1.1.6系统接口

数据交换表态对外提供标准、统一的访问接口，外部系统可通过标准协议进行接入，获取数据交换平台相关运行信息，系统接口包括配置数据管理接口、交换任务启动接口、数据接收接口、数据获取接口、监控数据接口、系统预留的扩展接口。

1.1.6.1.1配置数据管理接口

数据交换平台支持标准的形式接口，支持交换系统内所有资源信息的管理接口，其他业务系统通过接口可以获取到数据源、数据标准、数据映射、交换任务以及调度等信息资源，并支持通过的形式管理。

数据交换平台支持基于格式或格式的数据接口。

1.1.6.1.2交换任务启动接口

数据交换平台支持标准的形式接口，接收其他业务系统的启动、恢复命令，支持对已配置的数据交换任务的实时触发。

数据交换平台支持同步、异步方式启动，支持传递运行时参数，支持以上任务的无干扰并发，例如核心，最少能处理个相互无干扰的交换任务并发启动，响应时间小于秒。

1.1.6.1.3数据接收接口

数据交换平台支持标准的形式接口，其他业务系统支持调用该接口实现将数据推送至已配置的数据交换任务，并实现相应的数据加载操作。

数据交换平台支持格式、等数据格式；支持以上任务的无干扰并发，例如核心，最