DIT Adapter10 快速入门手册.docx
- 文档编号:3806098
- 上传时间:2022-11-25
- 格式:DOCX
- 页数:16
- 大小:109.74KB
DIT Adapter10 快速入门手册.docx
《DIT Adapter10 快速入门手册.docx》由会员分享,可在线阅读,更多相关《DIT Adapter10 快速入门手册.docx(16页珍藏版)》请在冰豆网上搜索。
DITAdapter10快速入门手册
DITAdapter1.0
快速入门手册
1.文档说明
本文档阅读者为DITAdapter的初学者,通过本文档,旨在使初学者对产品的的基本概念、工作原理、使用等等有一个入门级的掌握。
2.Adapter概述
Adapter业务数据适配系统是架构在开放的、企业级运行框架之上,用于两个或两个以上的业务系统之间的数据集成。
从而实现业务系统的集成,实现共享、同步。
业务数据适配系统的目标是简化异构系统间的数据共享和集成。
Adapter业务数据适配系统可以与数据交换平台比如oDex,或者与消息中间件(IMBMQ、OpenJMS、ActiveMQ等等)组装成企业级的企业应用集成(EAI)系统。
Adapter业务数据适配系统是架构于标准的,面向组件的运行环境之上的业务数据集成器、报文生成器、翻译器及传输代理;既满足了业务系统大量的业务数据处理子系统的数据集成整合处理要求,又可以作为需要在数据库与业务系统之间传送数据业务场景的通用解决方案;实现了高可用性、高适用性的数据存储系统和业务系统之间透明的数据集成、处理和交换。
3.Adapter系统架构与特点
3.1系统架构
DITAdapter以OSGI为支撑的基础平台,主要包括如下组成部分(如下图):
ØOSGI支撑平台:
基于组件相关的底层支撑和管理。
Ø基础服务:
事务服务、管理服务、日志服务、安全服务等等底层的服务。
Ø配置/管理工具:
业务适配全生命周期的,从开发、部署到管理的可视化操作。
Ø运行安全保障:
保证系统运行、业务适配全过程中的安全。
Ø适配任务控制管理/处理引擎:
提供业务适配过程中基于组件面向适配流程的管理和控制功能。
图:
系统架构图
在DITAdapter系统中,处理业务数据适配的基础任务单元是业务适配任务(Task)。
系统可以同时运行着多个业务适配任务(Task)。
每一个业务适配任务处理一种业务适配业务。
具体讲,就是一个业务数据适配流(数据处理“流水线”)。
即从数据源系统到目标系统的数据适配处理。
这些业务适配任务(Task)在适配任务控制管理/处理引擎的协调下同时运行而相互之间互不干扰。
运行、维护、支持业务适配任务的系统为业务适配框架(Framework)。
3.2系统特点
Ø实现于开放的OSGI标准之上,具有良好的开放性和扩展性;
Ø面向组件的系统框架,支持组件的动态安装与卸载;
Ø采用清晰的多层设计和模块化的构建方式,保证了系统的伸缩性和开发质量;
Ø采用功能组件组装“数据加工流水线”的方式处理业务适配,使得DITAdapter具有强大的业务适配任务处理能力;
Ø灵活的系统配置和功能划分使得DITAdapter系统具有高度的灵活性和可复用性及可扩展性;
Ø优化的底层处理机制实现了流水线间的高度并行和系统的高性能。
Ø支持数据的点对点和一点对多点交换,适用于发布/订阅模型;
Ø支持Oracle、DB2、SQLServer、sysbase、MySql等大多数数据库系统的数据交换;
Ø支持文件系统的数据交换;支持LDAP系统数据的交换;
Ø支持符合JMS1.1标准的基于消息中间件的消息数据交换;
Ø支持HTTP/HTTPs、TCP/IP、SOAP、SMTP/POP3、FTP等多种标准的通信协议;
Ø支持标准的XML格式数据交换和处理;
Ø支持文本数据、二进制数据等任意格式的数据交换;
Ø支持XML格式数据基于Schema的数据校验;支持XML格式数据基于XSL的数据转换;支持持XML格式数据基于XPath的数据查询抽取;
Ø提供图形化的管理工具,系统具有友好性和易操作性;
Ø提供对交换数据的加密、解密和压缩、解压缩组件;
Ø纯Java语言开发,确保系统的平台无关性和可移植性;
4.Adapter主要功能
从系统的角度来数据适配系统adapter,adater的功能可以分为两大类---基础性功能、适配功能。
4.1基础性功能
提供的底层的服务,作为系统的基础系统的支撑。
Adapter提供的基础服务如下:
✧日志服务:
提供对日志信息的处理和管理功能,具有错误、警告、调试等不同的日志运行级别。
日志服务接收运行环境中各个组件的日志信息并将其分发到订阅这些信息的组件或实体。
✧安全服务:
OSGi框架的安全建立在Java语言安全和Java2安全模型之上。
Java2安全模型为代码访问资源提供了全面的安全考量,OSGi框架支持完全的许可动态管理。
✧事务服务:
提供数据适配过程的事务特征的支持,实现数据的一次适配,完整适配。
✧发布/订阅:
与交换平台或消息中间件集成时可以进行消息的发布/订阅。
✧断点续存:
在数据文件传输过程中,支持断点续存。
大文件发送过程中支持突发事件导致文件未完整传输,在恢复正常后本系统可实现从断点处继续传输。
4.2适配功能
适配功能是建立在基础性功能之上的面向用户需求的功能。
这些功能与用户的数据适配需求是相对应的。
✧关系型数据库
可以从关系型数据库里按照数据抽取规则进行数据的抽取,把数据转换成xml数据格式。
亦可以实现从把数据往数据库里面写。
1)数据库读(reader)组件:
实现数据的连接,并从数据库中抽取符合条件的数据。
2)数据写(write)组件:
把获得的数据往数据库中进行插入。
✧文件数据
系统中拥有的文件比如Xml文件、doc文件、xls文件等等都可以通过文件读组件和写组件实现文件的读取和存储。
1)文件读组件:
从指定的路径下读取文件。
2)文件写组件:
把文件写入到指定的路径下。
✧JMS
与JMS服务进行连接,可以把数据发送到JMS服务也可以从JMS上获取数据。
1)JMS读组件:
连接到JMS上,并把数据发送至JMS上。
2)JMS写组件:
连接到JMS上,并从JMS上获取数据。
✧SOAP
与SOAP服务进行连接,可以把数据发送到JMS服务也可以从SOAP上获取数据。
1)SOAP读组件:
连接到SOAP上,并把数据发送至JMS上。
2)SOAP写组件:
连接到SOAP上,并从JMS上获取数据。
✧SMTP/POP3
与SMTP/POP3服务进行连接,可以把Mail发送到SMTP服务也可以从POP3上获取Mail。
1)POP3读组件:
连接到POP3上,并把mail从信箱中收取。
2)SMTP写组件:
连接到SMTP上,并通过SMTP把mail发送至上信箱中。
✧FTP
与FTP服务进行连接,可以把数据发送到JMS服务也可以从FTP上获取数据。
1)FTP读组件:
连接到FTP上,并把数据发送至FTP上。
2)FTP写组件:
连接到FTP上,并从FTP上获取数据。
5.Adapter系统安装与运行
5.1.1拷贝安装
Windows平台:
✧安装:
将Adapter包拷贝到电脑任意一系统盘下即可,提示:
需存放的路径没有空格。
✧界面运行:
进入adapter安装目录下的bin文件夹下,双击StartAdaptor.bat即可启动adapter系统,启动界面会最小化在右下角任务列表中,停止adapter系统,可以通过界面内的停止按钮或者在该目录下双击StopAdaptor.bat可实现停止系统的运行。
✧命令行运行:
进入adapter安装目录下的bin文件夹下,双击DebugAdaptor.bat命令即可启动adapter系统,进入任务启动、调试状态。
Linux系统平台安装:
✧在Linux系统平台下,将安装介质中的DITAdapter目录拷贝到指定目录,并在系统环境变量中的PATH变量中配置好JDK下java程序的路径即可。
(目前的版本不需要设置Path)
✧运行,进入adapter安装目录下的bin目录下,执行StartAdapter.sh启动命令即可启动。
停止adapter的运行,执行该目录下的StopAdaptor.sh命令即可。
(增加的)
5.1.2自定义安装
Windows平台:
✧安装:
进入DITAdapter1.6的安装盘,双击setup.exe,按照安装向导提示,进行adapter系统的安装。
安装成功后有成功提示。
✧运行:
进入程序菜单,找到DITAdapter1.6的菜单目录,单击adapter启动/停止菜单即可进行系统的启动与停止。
6.使用示例:
典型适配任务配置与部署(DB2JMS)
6.1DB到JMS的任务配置原理
根据业务需要,将所要抽取的数据库信息手工定义出相应的XSD文件,根据Castor对XML文件和JDO的绑定方法,找出对应的映射关系;通过JNDI来查找JMS需要连接的相应的连接工厂或主题、JNDI提供者,配置好对应的adpater.xml文件;通过启动任务,通过JMS服务将数据库信息传输到JMS所在的平台,通过平台的反馈得到回执信息就可以确定任务的完成情况。
6.2XML与关系数据的映射实现关系示意图如下
6.3定义一个任务所需的流程:
任务定义的主要流程:
1)根据所要抽取的表,定义出任务XSD文件(核心文件,认真核对数据类型、字段长度等属性值)
2)根据需要转换、修改要抽取的内容信息的格式,形成对应的XSL文件
3)根据XSD文件通过目录\adapter-1.0\bin下的CastorSourceGenerator.bat命令的方式生成操作数据的javaBeans---->生成jar包。
4)使用命令CastorObjectToXmlMappingTool.bat-i[主类的名字]-O[mapping文件名.xml]方式,通过类名生成数据表字段与xml文件元素的对应关系的关系映射Mapping定义文件(表与class间的对应关系)
5)配置相应的config.xml文件(数据库连接信息)
6)配置相应的adapter.xml文件(注意里面的sql语句和JMS几个属性的配置)
6.4运行任务
进入\adapter\adapter-1.0\bin目录下,将所配置的XML、XSL文件和相应的JAR包放在task目录下,双击StartAdaptor.bat来启动任务运行,即可在运行的屏幕中看到运行结果。
7.举例说明(oracle数据库到jms)
所有的配置文件均放在\adapter\adapter-1.0\tasks\test下
7.1任务
将表person中的信息传输到jms平台
表person表结构:
SQL>createtableperson(
2namevarchar2(8),
3sexvarchar2(4),
4idnumber(8),
5SENTTIMEdate//adapter.xml查询语句中作为实时查询条件的字段
6);
表中有两条记录
7.2定义出任务XSD文件:
person.xsd
Person.xsd显示如下:
xmlversion="1.0"encoding="UTF-8"?
>
schemaxmlns: xs="http: //www.w3.org/2001/XMLSchema"> elementname="person"> complexType> sequence> elementname="id"type="xs: decimal"nillable="true"> element> elementname="name"type="xs: string"nillable="true"> element> elementname="sex"type="xs: string"nillable="true"> element> elementname="SENTTIME"type="xs: dateTime"nillable="true"> element> sequence> complexType> element>
schema>
说明:
将表中需要抽取的字段显示出来即可
7.3形成对应的XSL文件:
person.xsl
person.xsl显示如下:
xmlversion="1.0"encoding="UTF-8"?
>
stylesheetversion="1.0"xmlns: xsl="http: //www.w3.org/1999/XSL/Transform"> outputmethod="xml"indent="yes"encoding="UTF-8"/> templatematch="/"> xsi="http: //www.w3.org/2001/XMLSchema-instance"> value-ofselect="//MessageBody//person//id"/> value-ofselect="//MessageBody//person//name"/> value-ofselect="//MessageBody//person//sex"/> //表名 template> stylesheet> 说明: 需要抽取部分字段内容时、转换格式时需要形成xsl文件,此任务可以不需要此文件 7.4形成javabeans类,生成jar包: person.jar 将person.xsd放在\adapter\adapter-1.0\bin目录下: 1)使用此命令: CastorSourceGenerator.bat-i[xsd文件名]-dest[目录名] 即: CastorSourceGenerator.bat-iperson.xsd-destperson 说明: 所生成操作数据的javaBeans在该目录名person下 2)在命令窗口使用命令jar-cvfperson.jar*.class生成对应的JAR包(person.jar) 在CMD命令窗口显示如下: G: \>cdG: \adapter\adapter-1.0\bin\person G: \adapter\adapter-1.0\bin\person>javac*.java G: \adapter\adapter-1.0\bin\person>jar–cvfperson.jar*.class 说明: 在当前目录下会生成person.jar,将此包拷贝到\adapter\adapter-1.0\tasks\test下,以便Adapter自动找到对应需要的Class文件 7.5形成person_mapping.xml文件 使用命令方式,通过类名生成数据表字段与xml文件元素的对应关系 CastorObjectToXmlMappingTool.bat-i[主类的名字]-o[mapping文件名.xml] (主类: 主表对应的类名,在使用此命令的时候,注意主类的名字第一个字母是大写的,遵循JAVA的命名规则) 即: CastorObjectToXmlMappingTool.bat-iPerson–operson_mapping.xml 说明: 在\adapter\adapter-1.0\bin目录下会生成此文件,将此文件拷贝到test目录下 person_mapping.xml显示如下: xmlversion="1.0"encoding="UTF-8"? > //castor.exolab.org/"xmlns: cst="http: //castor.exolab.org/"> name="Person"identity="id">//映射的类名、标识字段 xml="Person"table="person"/>//映射的类名、表名 name="id"cst: type="java.math.BigDecimal"cst: required="true"> name="name"cst: type="java.lang.String"cst: required="true"> name="sex"cst: type="java.lang.String"cst: required="true"> 说明: 用此命令生成的mapping.xml文件中,缺少 7.6配置相应的config.xml文件(数据库连接信息) Person_config.xml显示如下: xmlversion="1.0"? > DOCTYPEjdo-confPUBLIC"-//EXOLAB/CastorJDOConfigurationDTDVersion1.0//EN" "http: //castor.codehaus.org/jdo-conf.dtd"> //name值可以任意填写,但要保跟adapter.xml中的databasename跟此处值一致 url="jdbc: oracle: thin: @192.168.5.17: 1521: adapter"> --transaction-demarcationmode="local"/--> 说明: 此部分就是数据库连接信息。 7.7配置相应的adapter.xml文件(注意里面的sql语句和JMS几个属性的配置) adapter.xml显示如下: xmlversion="1.0"? > --SimpleThreadedSourcetoPipetoNullDestinationAdaptor--> --UsesoneSourcewithaThreadedReadConnector--> --LinkedtoaMessageEchoPipelinkedto--> --aDestinationwithaNullWriteConnector--> oa="">//任务名称test type="ponent.Source"name="person"> type="com.egrid.adaptor.event.sysevent.FileCache"> oa: type="com.egrid.adaptor.connector.database.CastorDBReadConnector" name="person-DBReader">//读连接器名字 //对象类名字: mapping.xml文件中的javabeans类名 //执行的SQL语句,is_undefined(p.SENTTIME)作为查询条件,如果没有此条件,要一直轮循。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DIT Adapter10 快速入门手册 快速 入门 手册
![提示](https://static.bdocx.com/images/bang_tan.gif)