ES数据交换平台白皮书Word文件下载.docx
- 文档编号:21812828
- 上传时间:2023-02-01
- 格式:DOCX
- 页数:25
- 大小:789.57KB
ES数据交换平台白皮书Word文件下载.docx
《ES数据交换平台白皮书Word文件下载.docx》由会员分享,可在线阅读,更多相关《ES数据交换平台白皮书Word文件下载.docx(25页珍藏版)》请在冰豆网上搜索。
中央服务器主要包括以下几个部分:
⏹用户管理配置:
管理连接到控制台的用户,设置访问系统用户的权限信息。
⏹组件组合应用:
连接服务组件的输入输出端,形成应用之间的数据通道。
⏹XSL管理配置:
设置不同的XML格式之间转换的所用的XSLT,所生成的XSLT数据转换服务运行于节点上,充分利用节点的计算能力。
⏹管理服务:
包括适配器组件库管理和组件(适配器)本身的配置管理、适配器之间连接的管理(创建、删除、改变等),以及系统运行管理(开启服务、应用等)。
⏹监控管理为用户提供系统的运行状况信息,包括组件运行状态监控、数据流监控,日志等管理功能。
3、基于适配器的交换服务
适配器是根据应用或者前置机节点的数据共享交换需求而定制的,为构建在数据共享交换平台之上的应用提供简单易用的数据接入服务组件。
它的主要功能是实现与应用或者文件等共享内容的对接,并把抽取和接收XML封装的数据文件基于主题的方式以JMS消息发送到数据交换平台实现数据路由和数据转换。
适配器可重用、可配置、可管理、可维护的特性。
适配器从应用场景来说主要分为文件、数据两类主流适配器,同时提供适配器模板支撑用户针对特性应用开展其它适配器的开发建设;
就应用模式而言,适配器主要分为发送、接收两类适配器;
通过文件适配器、数据适配器、以及其它根据适配器模板开发的特性适配器与发送、接收适配器的组合,方便支撑服务全集团的数据交换服务平台的建设。
需要说明的是在文件交换过程中,针对数据库数据采集建设(即交换数据的中心落地工作),将在文件发送、接收的基础上,通过触发器自动调用文件解析适配器,完成上载文件的格式解析(PDF、Excel、TXT等),由文件非结构状态直接转化为结构化数据(目标数据库格式:
Oracle、SqlServer、MySql、DB2、Sybase等),同时将数据直接插入相应专题库中,自动化的完成数据采集、交换、解析、入库的一系列流程。
文件自动交换解析服务同样可应用于不同下属单位之间端对端的数据交换流程中。
同时在以上适配器应用类型之外,平台还提供传统Web服务组件以及消息发布组件等一系列服务,满足平台在复杂、异构应用环境下的通用性和完整性。
4、WebService交换服务
以web服务方式将数据库交换请求信息发送到共享交换平台,共享交换平台根据交换请求完成数据库的交换。
具体WebService组建交换流程是首先以web服务方式将文件交换请求发送到共享交换平台,共享交换平台根据交换请求完成文件的交换。
文件传输采用MTOM解决方案,即SOAP消息传输最优化机制(SOAPMessageTransmissionOptimizationMechanism,MTOM)。
MTOM是一种二进制信息附件传输标准,正在被所有的WebService供应商所支持。
节点应用作为WebService体系的Client端,将通过HTTP、HTTPS等网络标准协议,基于SOAP网关动态接入集团数据共享交换平台,中央服务器作为WebService体系的的Agent,提供请求代理中转服务,而每个交换子节点控制台均将作为WebService体系的Server端存在,一旦通过JMS接收到中央服务器的Web服务请求,则将调用本地适配器服务完成资源的发送(可按Adapter模式按消息或者主题两种方式进行),底层基于JMS框架完成内部消息的发送,最终通过WebService将应用请求内容反馈,基于WebService的交换服务框架将对于提供集团数据交换平台在自适应性、扩展性以及兼容性等各个层面的服务品质。
5、适配器控制台
适配器控制台运行在各前置机节点服务器上,通过在客户端控制台容器中运行针对不同数据交换共享需求的适配器配置文件,底层调用JMS实现数据的交换共享服务,系统建设过程中,在各个节点控制台中将预制数据库适配器、文件适配器两类通用型适配器模板,即通过数据库适配器以接口表的方式完成本地应用系统数据库中数据的采集、封装和发送;
或者通过文件适配器完成本地文件的上载以及自动发送,支撑远端节点与中央服务器之间的数据交换共享。
节点前置机作为适配器服务运行的容器存在,即各节点前置机与中心平台之间一起构成分布式的服务运行环境,并提供事件管理功能如消息队列机制和数据持久层可靠事件的传输管理机制等,与各节点应用关联的接口适配器(Adapters)运行于节点前置机上。
节点前置机为运行其上的服务组件提供两部分主要功能:
1)容器服务和日志采集:
通过为适配器配置XML文件提供标准的运行环境容器,各适配器文件通过统一的运行环境容器(即节点适配器控制台)将Adapter服务等组件运行其上,并将有关服务的运行状态、发送接收数据日志等发送到中央服务器,中央服务器通过节点服务器开启实时、定时或手动服务。
2)数据传输持久层保护:
为Adapter之间的数据传输提供基于事务验证机制的可靠传输保障服务,包括断点续传等功能。
三、技术路线
数据交换产品遵循J2EE、SOA、WebService、JMS、元数据等技术标准框架,应用适配器组件和数据服务总线架构,以可扩展标记语言XML作为消息传输的底层通用标准,平台通过消息传输的方式支撑集团内部各类数据的交换共享,采用“ESB服务总线”实现数据发送、接收和交换处理中远端应用系统和中央服务器、远端应用与中心落地数据库之间的松散耦合。
1、SOA架构标准
Webservices架构把SOA(基于服务的架构)推到了主流市场。
在SOA架构下,数据和业务逻辑融合成模型化的业务组件,且具有文档接口,这种明确的设计和简单和方式有助于开发和进一步扩展,一个SOA应用可以很简单地与异构的、外部的遗留系统、外购的应用集成。
随着Webservices的发展,SOA的优势会更快地被认识到,新的工具会使SOA应用的开发更简单,在主流软件设计市场主导40年的集成点对点的集成方式将会退出市场。
Garner预测,随着Webservices和SOA工具逐步实现易用性和完成整体功能,SOA必然会占据主流市场,所有的中间件产品和相关开发工具,包括应用服务器、门户产品、和集成套件,都会大力支持Webservices和SOA部件。
SOA是一种应用技术,应用的业务逻辑清楚地被组织成模型(服务),访问接口、服务成为一个黑盒。
在SOA中,结构师要尝试由单个实体来提供一系列特定的任务。
该实体接收服务请求并返回处理结果;
或返回因尝试失败而导致的错误。
这些服务,以及规定它们应如何组合来构成一个完整应用程序的指导原则,就构成了一个SOA。
SOA有数十年系统工程的很好的实践,但是目前还缺少标准和专业工具,只在技术非常先进的项目中采用。
SOA能让应用提高灵活性、重用性,但是在开发之前需要设计、洞察和协商。
Webservices是SOA的基础标准。
随着基本的Webservices服务(HTTP,DNS,XMLandSOAP)的普遍发展,和Microsoft,IBM及其它领先的IT厂商的认可,大量的中间件和工具厂商已经更新了他们的产品或提供Webservices架构的新产品。
到2007年,Webservices的采用将开创新的技术和商业契机。
下图是SOA重新定义的中间件平台结构。
SOA平台中间件结构图
至2006年,基于服务的开发会改变软件开发、组装、销售的方式。
Garner预测,到2007年75%的企业应用服务器的新功能都会成为无客户端的平台,在其它平台上应用只需要一个用户界面。
新的、大型应用系列如果想有更长的生命周期,就应该开始使用SOA。
忽视SOA的潜势或计划在早期阶段先不考虑的企业,将会发现他们自己已被那些先进的、敏捷的服务架构所摈弃。
到2007年,SOA将成为市场的主流,SODA是SOA的开发架构。
业务平台应该重视此潮流。
2、ESB技术
ESB(EnterpriseServiceBus,即企业服务总线)是传统中间件技术与XML、Web服务等技术结合的产物。
ESB提供了网络中最基本的连接中枢,是构筑企业神经系统的必要元素。
企业服务总线ESB就是一种可以提供可靠的、有保证的消息技术的最新方法。
ESB中间件产品利用的是Web服务标准和与公认的可靠消息MOM协议接口。
ESB产品的共有特性包括:
连接异构的MOM、利用Web服务描述语言接口封装MOM协议,以及在MOM传输层上传送简单对象应用协议(SOAP)传输流的能力。
大多数ESB产品支持在分布式应用之间通过中间层如集成代理实现直接对等沟通。
企业服务总线(EnterpriseServiceBus,ESB)的概念是从面向服务体系架构(Service-OrientedArchitecture,SOA)发展而来的。
SOA描述了一种IT基础设施的应用集成模型,其中的软构件集是以一种定义清晰的层次化结构相互耦合,其中,一个ESB是一个预先组装的SOA实现,它包含了实现SOA分层目标所必需的基础功能部件。
(1)企业服务总线(ESB)可以有那些用处
ESB不是万能的,他不是一个应用程序框架,也不是一个企业应用的解决方案。
它只是一个基于消息的调用企业服务的通信模块!
你可以把它嵌入到你的应用程序框架中,例如嵌入到spring容器里面,或者嵌入到工作流系统中。
它的作用是对企业里面的SOA服务的调用提供一个框架和简便的方法。
(2)企业服务总线(ESB)的应用特征
大规模分布式的企业应用需要相对简单而实用的中间件技术来简化和统一越来越复杂、繁琐的企业级信息系统平台。
面向服务体系架构(SOA)是能够将应用程序的不同功能单元通过服务之间定义良好的接口和契约联系起来。
SOA使用户可以不受限制地重复使用软件、把各种资源互连起来,只要IT人员选用标准接口包装旧的应用程序、把新的应用程序构建成服务,那么其它应用系统就可以很方便的使用这些功能服务。
支撑SOA的关键是其消息传递架构——企业服务总线(ESB)。
ESB是传统中间件技术与XML、Web服务等技术相互结合的产物,用于实现企业应用不同消息和信息的准确、高效和安全传递。
ESB的出现改变了传统的软件架构,可以提供比传统中间件产品更为廉价的解决方案,同时它还可以消除不同应用之间的技术差异,让不同的应用服务协调运作,实现不同服务之间的通信与整合。
ESB在不同领域具有非常广泛的用途:
电信领域:
ESB能够在全方位支持电信行业OSS的应用整合概念。
是理想的电信级应用软件承载平台。
电力领域:
ESB能够在全方位支持电力行业EMS的数据整合概念,是理想的SCADA系统数据交换平台。
金融领域:
ESB能够在全方位支持银企间业务处理平台的流程整合概念,是理想的B2B交易支撑平台。
电子政务:
ESB能够在全方位支持电子政务应用软件业务基础平台、信息共享交换平台、决策分析支撑平台和政务门户的平台化实现。
(3)企业服务总线(ESB)的结构和功能
ESB提供了一种开放的、基于标准的消息机制,通过简单的标准适配器和接口,来完成粗粒度应用(服务)和其它组件之间的互操作,能够满足大型异构企业环境的集成需求。
它可以在不改变现有基础结构的情况下让几代技术实现互操作。
通过使用ESB,可以在几乎不更改代码的情况下,以一种无缝的非侵入方式使企业已有的系统具有全新的服务接口,并能够在部署环境中支持任何标准。
更重要的是,充当“缓冲器”的ESB(负责在诸多服务之间转换业务逻辑和数据格式)与服务逻辑相分离,从而使得不同的应用程序可以同时使用同一服务,用不着在应用程序或者数据发生变化时,改动服务代码。
(4)InterESB的功能特点
⏹多种通信技术的综合应用
⏹高度灵活、可分布部署的信息总线
⏹便捷、标准的企业应用集成模式
⏹灵活的适配器技术
⏹与CORBA、J2EE技术的结合
⏹广泛的平台支持
(5)企业服务总线(ESB)的应用前景
企业级应用系统一直是中国软件产业发展的主要方向之一,占有至关重要的地位。
同时,它也受到整个世界IT发展潮流的影响,当前IT软件领域的主要技术趋势是SOA和ESB,原因是信息技术的不断发展和成熟使各个企业有机会在更大的范围内整合自己的资源,提高经营运行效率。
二十一世纪信息共享与整合对企业的变革发展日趋重要,而企业对网络环境的依赖及应用创新的追求,将是我们面临的主要挑战。
3、J2EE技术
J2EE是主流的技术体系,J2EE已成为一个工业标准,围绕着J2EE有众多的厂家和产品,其中不乏优秀的软件产品,合理集成以J2EE为标准的软件产品构建新建业务系统,可以得到较好的稳定性、高可靠性和扩展性。
J2EE技术的基础是JAVA语言,JAVA语言的与平台无关性,保证了基于J2EE平台开发的应用系统和支撑环境可以跨平台运行。
J2EE平台包含有一整套的服务、应用编程接口(API)和协议,可用于开发基于Web的分布式应用。
它定义了一套标准化、模块化的组件规范;
并为这些组件提供了一整套完整的服务、以及自动处理应用行为的许多细节---例如安全和多线程。
由于J2EE构建在Java2平台标准版本上(J2SE),因此,它继承了Java的所有优点――面向对象、跨平台等。
随着越来越多的第三方对Java2平台企业版(J2EE)提供支持,Java已经被广泛用来开发企业级应用。
基于J2EE技术的应用服务器(ApplicationServer)主要是用来支持开发基于Web的三层体系结构应用的支撑平台,这一类的产品包括BEAWebLogic、IBMWebSphere等。
4、Webservices技术
Webservices是为了让地理上分布在不同区域的计算机和设备一起工作,以便为用户提供各种各样的服务。
用户可以控制要获取信息的内容、时间、方式,而不必像现在这样在无数个信息孤岛中浏览,去寻找自己所需要的信息。
利用Webservices,公司和个人能够迅速且廉价地通过互联网向全球用户提供服务,建立全球范围的联系,在广泛的范围内寻找可能的合作伙伴。
随着Web服务技术的发展和运用,我们目前所进行的开发和使用应用程序的信息处理活动将过渡到开发和使用Webservices。
将来,Webservices将取代应用程序成为Web上的基本开发和应用实体。
WebService规范了应用程序组件的包装、接口标准,应用系统之间可以通过SOAP协议进行访问,通过XML来交换数据,这为分布式应用之间提供了简单、开放、标准的耦合新途径,已经得到越来越多业界的支持。
5、元数据及目录技术
“元数据”是从英文单词“metadata”的中文意译,也有翻译为“元资料”(常见于东南亚、台湾等地的文献中)。
元数据的直译为关于数据的数据,一般属于计算机领域中的术语。
我们可以用一个简单的例子来说明;
有一本书《政治经济学》,我们对它的书名、作者、出版社等信息做一个简单的摘要,那么这个摘要信息就可以称作元数据。
同样的,关于物质世界的和初始事物的简单(相对于源)再描述所得到信息都可以称作元数据,这就是元数据的一般定义。
元数据最基本的用途就是管理数据,从而实现查询、阅读、交换和共享。
元数据的编写是有标准的,对于不同领域一般都会根据需求来定义一个标准或几个标准。
标准的设定是为了实现领域中的数据信息交换和共享,为研究和生产服务。
元数据在不同研究领域中有不同提法,在政务信息资源管理领域主要关注以下基本问题(3WH),What—有什么?
Where—位置在哪?
Who—谁提供?
谁使用?
How—如何发布?
如何查找?
如何使用?
政府信息资源目录体系就是一种信息资源的组织、整合和管理体系,解决有什么信息资源、在哪里、谁提供的问题,实现信息资源的管理、共享、查询和定位服务。
四、产品功能—交换服务
数据交换服务是数据共享交换平台的核心,数据交换系服统件包括六部分:
路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务。
(一)路由服务
路由服务可使用像业务名称这样的地址,在服务之间路由消息,控制消息的存储和分发,并对每个消息启动正确的处理流程;
实现数据交换路由解析功能,可实现数据的多步多级传输。
Ø
路由可以是显式的:
使用输入数据提供的显式地址或映像中的显式地址;
路由服务也可以是基于内容的:
分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由;
基于主题的消息路由,支持发布订阅机制:
主题是消息目的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。
(二)转换服务
转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题
1、协议转换
在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同而不能互联互通的问题;
2、格式转换
在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和语义的异类问题。
支持各种主流关系型数据库之间的数据交换,如Oracle、SQLServer、DB2、Sybase、Access、Excel、MySql等。
支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换
3、数据转换
指通过数据项定义功能,实现选择源数据表的全部数据接入或选择源数据表的部分字段接入;
筛选数据记录或定义接入条件,实现只有符合条件的数据记录才被接入数据交换平台。
数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定义等环节,实现各种记录处理。
(1)一表对一表交换
数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对一交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录。
(2)一表对多表交换
数据交换平台可以支持“一对多”交换。
实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。
(3)多表对一表交换
数据交换平台可以支持“多对一”交换。
实现多个源数据表中的数据记录组合转换为一个目标表中的一条记录。
(三)安全服务
能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内容的加密(可逆或不可逆),保障数据交换传输过程中的安全。
同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。
(四)消息通讯服务MQ
消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下:
1、支持同步或异步通信
同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;
异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用“松散耦合”的方式连接,这使得分布式系统具有更高的可用性和可伸缩性。
(1)即时传输
基于事件驱动,由系统运行时动态产生和控制的会话方式。
对于没有网络占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。
(2)定时传输
由系统定时器根据预设的定时策略产生和控制的会话方式。
对于有网络占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式可以在指定时间将接入数据发送到接收节点。
即时传输模式支持定点传输和指定间隔时间轮询启动传输。
(3)手工启动传输
系统运行时由用户手工产生和控制的会话方式
2、支持多种传输模式
数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输。
(1)订阅
平台基于主题的消息路由,支持发布订阅机制:
主题是消息目的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性
(2)队列
平台支持队列方式,方便实现一点对一点的数据传输。
3、支持多通讯模式:
支持数据的发布/订阅、请求/应答通信模式;
发布/订阅通信模式完全是一种“推”(Push)的技术;
而请求/应答通信模式是对传统Client/Server通信模式的支持,即支持“拉”(Pull)技术。
用户可以根据具体应用的信息处理流程来选择合适的通信模式。
(1)推:
点到点或点到多点的主动信息推送方式
(2)拉:
点到点或点到多点的被动信息获取方式
(3)组播:
在一个域或群组范围内的多点群发方式
4、可靠传输
支持断点续传、分块传输;
保证消息传输一次且仅需传输一次,确保数据可靠传送。
当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。
另外,由于发布者产生的消息是按时间顺序放在相当于队列的消息队列表中,可以保证按消息产生的时间序列依次发送,同样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消息处理的时序性。
5、事务支持
发送方只有成功地发送消息时,才删除消息队列中的消息,否则回滚事务;
只有在受到接收方确认消息(Point/P
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ES 数据 交换 平台 白皮书
![提示](https://static.bdocx.com/images/bang_tan.gif)