基于网格技术的企业异构数据集成研究工学硕士学位论文Word文档下载推荐.docx
- 文档编号:17892514
- 上传时间:2022-12-11
- 格式:DOCX
- 页数:61
- 大小:581.85KB
基于网格技术的企业异构数据集成研究工学硕士学位论文Word文档下载推荐.docx
《基于网格技术的企业异构数据集成研究工学硕士学位论文Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《基于网格技术的企业异构数据集成研究工学硕士学位论文Word文档下载推荐.docx(61页珍藏版)》请在冰豆网上搜索。
Candidate:
DuanRuizhen
Supervisor:
GaoZhongwen
AcademicDegreeAppliedfor:
MasterofEngineering
Specialty:
ControlTheoryandControlEngineering
DateofOralExamination:
March,2008
University:
HarbinUniversityofScienceandTechnology
哈尔滨理工大学硕士学位论文原创性声明
本人郑重声明:
此处所提交的硕士学位论文《基于网格技术的企业异构数据集成研究》,是本人在导师指导下,在哈尔滨理工大学攻读硕士学位期间独立进行研究工作所取得的成果。
据本人所知,论文中除已注明部分外不包含他人已发表或撰写过的研究成果。
对本文的研究工作做出重要贡献的个人和集体,均已在文中以明确方式注明。
本声明的法律结果将完全由本人承担。
作者签字:
日期:
年月日
哈尔滨理工大学硕士学位论文使用授权书
《基于网格技术的企业异构数据集成研究》系本人在哈尔滨理工大学攻读硕士学位期间在导师指导下完成的硕士学位论文。
本论文的研究成果归哈尔滨理工大学所有,本论文的研究内容不得以其它单位的名义发表。
本人完全了解哈尔滨理工大学关于保存、使用学位论文的规定,同意学校保留并向有关部门送交论文的复印件和电子版本,允许论文被查阅和借阅。
本人授权哈尔滨理工大学,可以采用影印、缩印或其他复制手段保存论文,可以公布论文的全部或部分内容。
本学位论文属于
保密□,在年解密后适用本授权书。
不保密□。
(请在以上相应方框内打√)
作者签名:
年月日
导师签名:
摘要
随着竞争的全球化,信息化水平已经成为制约企业发展的一个重要因素。
为了增强竞争力,企业纷纷引入ERP、SCM等多种信息系统以提高自身的信息化水平。
但各信息系统中的数据形式不同,各自形成信息孤岛,系统间的数据互操作很难,严重影响了企业的信息化进程。
网格技术的出现为解决这一问题提供了一种崭新的模式。
网格的开放性、共享性、协同性以及平台、语言无关性,将更便于基于网格服务的异构数据动态集成和交互,对企业信息化的推进具有较强的理论和现实意义。
本文研究了在Linux基础平台上,构建企业异构数据集成网格服务的问题。
主要从以下几个方面展开:
首先,在分析企业现行异构数据集成方法不足的基础上,提出了基于OGSA/WSRF的异构数据集成模式,并基本完成了该模式整体框架及核心模块的设计,详细描述了各模块的功能和工作原理。
其次,在该模式下用GT4开发出异构数据集成的网格服务。
针对企业数据多样化的特点,重点介绍了消除数据模式异构性的XML方法,以及消除组件异构性的SOAP和WSDL方法。
再次,用UDDI和WSIL注册网格服务,用GSD算法发现网格服务后,使用简单客户端程序实现网格服务的调用。
最后,对该设计进行了单点软件测试,并进行了相关性能指标的分析评价。
与以往服务绑定式的异构数据集成方法相比,该平台具有按需动态集成的优势。
该方案实现了传统Web服务集成解决方案与网格技术的融合,具有较高的商业价值。
关键词 企业信息化;
网格技术;
异构数据集成
Abstract
Withglobalizationofthecompetition,theinformation-basedlevelhasalreadybecomeanimportantfactorofrestrictingenterprise'
sdevelopment.Inordertostrengthenthecompetitiveness,enterprisesintroducemanykindsofinformationsystemssuchasERP,SCMoneafteranothertoimprovetheirinformation-basedlevel.Buttheproblemof“detachedislandofinformation”,whichiscausedbythedifferentconstructingdataresourcesexistingindifferentinformationsystems,makesdataco-operationmuchdifficult,andtheninfluencestheinformation-basedprocessofenterprisesseriously.Appearanceofgridtechnologyprovidesanewmodeforsolvingthisproblem.Thegridhascharacteristicsofopening,sharing,coordination,andbenotrelativetoflatformandlanguage.Thesecharacteristicsareconvenientforthedynamicallyintegratingandexchangingoftheisomerismdatabasedongridservice,andthesemakethegridtechnologysignificantinpromotingtheenterprise'
sinformationizationboththeoricallyandrealistically.
Inthispaper,therealizationofintegratingandapplyingofenterprise'
sisomerismdataasgridserviceonLinuxbasicplatformisstudiedandconstructed.Itmainlyfurtherdiscussesthefollowingaspects:
Thispaperbeginswithanalyzationoftheinsufficientofpresententerpriseisomerismdataintegrationsolution.Basedonthis,thepaperproposestheOGSARFisomerismdataintegrationmode,andbasicallycompletesthedesignofwholeframeandkeymoduleofthismode.Moreover,thepaperalsodescribesthefunctionofeverymoduleandoperationprincipleindetail.
Secondly,thepaperdevelopsthegridserviceofisomerismdataintegrationunderthismodewithGT4.Consideringthebusinessdata’scharacteristicofdiversification,thepaperintroducesamethodtoeliminatedatapatternisomerismwithXML,aswellasamethodtoeliminatemoduleisomerismusingSOAPandWSDL.
Then,thepaperregistersthenetservicewithUDDIandWSIL,usesGSDalgorithmtodiscoverthegridservice,andusesthesimpleclientprogramtoaccesstheservice.
Finally,thesinglepointsoftwaretestisperformedtothedesign,andtheanalysisandappraisearealsocarriedtorelevantperformanceindexes.
Comparingwiththeformerservicebinding,theadvantageofthisplatformisobvious:
itcanintegratedataresourcedynamicallyaccordingtoenterprise’need.ThisschemerealizestheintegrationoftraditionalWebservicesolutionandgridtechnology,anditismuchvaluablecommercially.
Keywordsenterpriseinformationization,gridtechnology,isomerismdataintegration
目录
摘要
Abstract
第1章绪论1
1.1研究目的及意义1
1.2企业异构数据集成研究现状2
1.3本文主要工作6
第2章网格技术8
2.1网格概念8
2.2网格的结构9
2.2.1五层沙漏结构10
2.2.2OGSA结构11
2.2.3WSRF结构15
2.3Globus支撑平台及开发环境17
2.4本章小结18
第3章核心开发技术和平台20
3.1Java/J2EE技术20
3.1.1Java对企业异构数据集成的支持20
3.1.2J2EE对企业异构数据集成的支持21
3.2WebService技术24
3.2.1WebService的基本概念24
3.2.2WebService的特征26
3.2.3WebService相关技术27
3.3FedoraCore6Linux平台30
3.4本章小结31
第4章企业异构数据集成方案设计32
4.1企业异构数据集成平台开发32
4.1.1基于OGSA/WSRF的异构数据集成模式32
4.1.2基于OGSA/WSRF的企业异构数据集成目标33
4.1.3基于OGSA/WSRF的异构数据集成方案设计33
4.1.4基于OGSA/WSRF集成的核心层网格服务设计35
4.1.5网格运行环境的创建36
4.2利用GT4实现网格服务38
4.3采用WebService消除数据异构性41
4.3.1消除数据模式异构性42
4.3.2基于SOAP和WSDL的组件间异构性的消除44
4.4本章小结49
第5章企业异构数据集成方案实施50
5.1网格服务的注册50
5.2网格服务的发现52
5.3网格服务的调用54
5.4方案评价体系54
5.4.1性能测试54
5.4.2评价指标58
5.5本章小结58
结论60
参考文献61
攻读硕士学位期间发表的学术论文65
致谢66
第1章绪论
1.1研究目的及意义
从上世纪七、八十年代开始,随着计算机在企业内的广泛应用,企业建立了各种各样的信息系统。
这些系统可能是在不同的时间由不同的公司开发,且开发过程是基于不同的系统平台或编程环境的,它们都有自己的用户系统、资源库、权限管理,致使彼此之间数据异构而互不相通,形成相对孤立的信息孤岛[1]。
企业虽然可以在一定程度上共享这些数据资源,但是这种共享相对来说是静态的、局限于某个系统中,这就给企业的综合分析、决策支持等带来很大困难。
此外由于这样的企业信息共享结构可扩展性差,升级换代困难,开发成本高,进而不利于推进企业信息化进程。
近年来随着互联网的迅速普及和企业信息化建设的进一步发展,企业的信息化数据资源越来越需要同时在多个应用系统之间实现共享,以提高企业的运作效率,提升自己的竞争优势。
然而由于市场竞争和技术方面的原因,企业异构数据形成的信息孤岛,严重制约了企业的高效运作。
同时由于新的商业应用的不断引入,包括企业资源计划(ERP)、供应链管理(SCM)、客户关系管理(CRM)等多种应用系统,在企业各部门规划、占有和使用资源中发挥了重要作用,但由于数据资源存在异构问题,使得这些系统有很多重复的功能却因为不能互访和互操作,而造成信息的重复录入,进而增加了企业投入,这一问题日渐成为许多企业信息化建设中的最大瓶颈。
另一方面企业与企业之间的交流与合作日益增加,协同商务和虚拟企业也迫切需要企业有一个高度集成和开放的信息平台,实现企业间的异构数据整合[2]。
不同应用的数据差异,使得企业不能高效地运转,造成企业信息化的程度难以满足当今日益激烈的市场竞争[3]。
如何将这些数据资源低代价、方便地连接在一起,实现大范围跨企业实体的异构数据互访与互操作,这是摆在开发人员面前的一大问题。
为了解决上述异构数据间孤立的问题,一种办法是推倒现有各个系统,重新开发一个覆盖到企业各个部门的统一的新系统来替换原有各个孤立的应用系统。
但是考虑到成本、实施周期和实施难度等因素,这种办法不是一种切实可行的解决方案。
另一种办法是根据实际需要从整体来考虑企业的信息系统,对各个应用系统进行总体规划,选择一个合适的集成平台,把企业的各个“信息孤岛”有机地集成起来。
这种解决方案不管是从实施难度,还是从实施成本、周期和技术上考虑都是切实可行的,这也是构成企业信息化迅速发展的源动力。
因此找到一种企业异构数据集成的新模式就成了当今企业信息化发展的迫切需求。
企业应用集成EAI(EnterpriseApplicationIntegration)是指在企业中的任何应用间可以无限制地共享数据和资源,目前它是国内外研究的一个非常热门的领域。
网格技术是一种全新的技术,它提出的灵感源于电力网,人们希望使用网格上的各种资源能像使用电力一样,打开开关就能实现照明,而不用去考虑它是由哪里提供、怎么提供。
网格技术采用面向服务的体系结构SOA(ServiceOrientedArchitecture)提供企业间的服务和应用,为企业信息化模式的创新提供了巨大的发展空间。
本文借助于网格的协同、共享特性,提出了消除企业现存数据异构性而导致的信息孤岛问题的一套解决方案。
与传统方案相比,该方案具有诸多优越性:
基于Web服务开发架构,具有良好的扩展性,Web服务更便于设计、开发、使用和维护;
发布和使用服务的应用程序间松散耦合;
基于开放标准UDDI、SOAP、HTTP和XML,具有开放性等等。
该方案主要解决了信息化应用中异构数据的共享、互连和互操作问题。
其将信息需求者屏蔽于异构性之外,为企业的内、外部数据提供更好的互访,促进管理者更快、更好的制定商务决策,进而提高企业的效率和经济效益[4]。
1.2企业异构数据集成研究现状
传统的企业应用集成通常包括企业内部的EAI和企业间的B2Bi(BusinesstoBusinessintegration)。
EAI主要是基于企业内部业务,如CRM、ERP、SCM以及OA等企业内部子系统的集成。
它是将企业内部多个不同数据源和相互分离的应用进行协同自动化处理的解决方案,其功能主要是协调企业现有的和将来的应用程序、数据及员工与合作伙伴之间的互动,以便实现对关键业务流程实时的可视化及有效管理。
B2Bi则侧重企业之间的业务应用集成,即跨越防火墙的集成,企业将业务延伸到合作伙伴,如分销商、零售商、供货商、物流运输商等的业务流程中[5]。
关于企业异构数据集成方面的研究已经进行了很长时间,产生了很多实用技术,大致发展过程如下[6,7]:
首先是中间件技术[8]。
它是在软件架构的层次上提出来的,位于操作系统或数据库等系统软件和应用软件之间。
它屏蔽系统软件的差异,为上层应用软件提供统一的接口或协议。
数据的分布性、异构性是集成过程中的最大障碍,中间件技术通过在数据库系统和应用系统之间构建中间层,屏蔽了异构数据的这些特性,将数据集成的工作交由中间层上的组件来实现,这样对应用系统来说,多数据源就同一个数据源没有什么区别,使得应用系统的开发更加简单,对数据库的操作都通过中间层来进行,为应用层提供完全一致的接口[9]。
传统的中间件技术有:
基于CORBA的企业应用集成、基于MOM的企业应用集成和基于J2EE/JCA的企业应用集成架构[10]。
在实际应用中,往往是多种方式共同使用,目前企业集成最主要的模式是消息中间件模式,如IBMMQseries、微软的MSMQ等。
该模式通过一个中间件产品实现各种系统间的交互,然而,由于不同的IT厂商所提供的不同产品互不兼容,因此,在进行企业应用系统集成时,需要进行定制化的开发,系统实现的效率低、开发工作量大、周期长。
而且,采用中间件技术进行异构数据的无缝集成是十分困难的,仅仅是设法使各种技术一起工作,就要花费40%的IT预算,使得近半数的投资花费在不直接产生商业价值的事情上[11]。
其次是面向服务的企业数据集成[12]。
基于XML技术的Web服务为面向服务的企业应用集成带来了新的契机,Web服务的使用改变了目前的开发模式和应用部署的费用规模[13-15]。
企业信息化过程中的异构数据集成目的是培养企业对市场的快速反应能力,从而提高企业经济效益和企业竞争力的过程。
随着Web技术的不断发展,分布式系统的日益完善,尤其是近年来Web服务技术的日益成熟,企业数据资源集成也随之得到了极大的发展。
为使企业实现业务合作、更好地实现跨平台的互操作、提高分布系统的集成度,采用WebService技术为异构数据的交互提供了有力的手段。
Web服务技术可以实现企业应用集成,但它没有构成一个完整的解决方案,如:
Web服务可能没提供组织所需级别的安全性、可靠性、性能和正常工作时间。
这就要求在各个应用系统中构建的服务,能以一种统一和通用的方式进行交互,并同时拥有可扩展的特性。
因此需要一种能够装配构件和服务的集成框架,该框架能够快速地开发、集成和重用应用程序,快速、动态地交付应用程序。
这就需要一种新的面向服务的体系结构去实现[16]。
网格技术发源于美国,随着它在世界各个国家和地区的政府及业界大公司中的推广和研究,以及网格基础设施建设的发展,网格技术的全面资源共享和协同特性,越来越吸引企业的眼球。
在针对“应用网格企业最想在哪些方面获得收益”的问卷调查中,22%是共享异构数据;
20%是要节省企业整体投入成本;
16%为更好地利用IT资源;
改善业务流程占8%;
更好地实现运营管理占5%;
提高技术优势达4%;
以上均有考虑的占25%。
为此网格义不容辞的担负起了开创异构数据集成新模式的重任。
目前,网格技术仍然处于研究开发阶段,网格技术尚不成熟,系列规范正在不断地开发、发展和修订中,同时也有很多新的规范出现,这是挑战也是机遇。
从发展的角度看,在异构数据集成中采用网格技术是大势所趋,作为IT业内的技术人员在项目设计的过程中应该顺应这一趋势,即采用先进的、低成本的解决方案,积极的尝试应用网格技术。
同时,在实际的系统设计过程中,应该把它和一些成熟的技术(如J2EE,WebService等)结合起来,使用开放的网格体系结构来支撑而不是替代现存的底层结构。
从长远来看,网格技术必将对企业信息化发展产生巨大而深远的影响。
目前网格技术在共享和集成应用中的研究也取得了一定成果。
下面是国内外现状的对比:
1.国外研究概况NPACI(NationalPartnershipsforAdvancedComputati-onalInfrastructure)Grid是由美国自然科学基金会(NSF)资助的网格研究项目。
其目的是建立一个能够满足NPACI科学计算需求的先进计算机体系。
NPACIGrid由一系列分布于各个资源站点的硬件资源、软件资源、网络资源及数据资源构成。
这些站点主要包括圣地亚哥超级计算中心(SanDiegoSupercomputerCenter),德克萨斯先进计算中心(TexasAdvancedComputingCenter)及密歇根大学(UniversityofMichigan)。
IPG(InformationPowerGrid)是由美国宇航管理局NASA支持的网格研究项目。
它是一个高性能的计算网格,网格用户可以通过IPG中间件从任何地点访问广泛分布的异构的各种资源,NASA内部的科学家和工程师都可以成为IPG的用户。
GIG全球信息网格(GlobalInformationGrid)是目前美国军方正规划实施的一个宏大网格计划。
它是美军2010网络中心战(NetCentricWarfare)计划的基础性研究项目,旨在建立一个以成熟的商业技术为基础的真正分布式的运行与传送系统。
欧洲国家在2001年正式启动了网格研究的一系列项目。
英国政府投资2亿英镑左右支持网格研究项目,并确定了用网格计算技术构建e-Science。
EDG欧洲数据网格(EuropeanDataGrid)于2000年12月由欧盟提供一千万欧元资金启动。
它主要针对CERN的高能物理应用,解决海量数据的分解存贮和处理问题,提供一种突破地理局限、允许分布在世界各地的工作者交互、共享数据和设备,共同开展科学研究的合作环境。
类似的还有:
法国启动的国家网格计划,前3年计划的经费投入是1000万美元。
荷兰国家网格计算计划将使5个大学的研究人员能够更有效地在生物信息到粒子物理等科研项目方面进行合作。
这一网格计算计划包含5台Linux群集系统,通过荷兰大学的高性能网络SURFNet连接在一起。
韩国的网格计划N*Grid,2002-2006年的五年计划将投资3500万美元,但不包括网络和高性能计算机的投入,后者每年投入为1500万美元。
日本的DataFarm网格项目,主要用于Petabyte数据量的高能物理实验数据的分析和处理,与欧洲数据网格相连。
中国台湾也启动了“知识创新网格”的三年科研计划(2003-2005),总投资为3000万美元。
2.国内研究概况国外网格的研究正在如火如荼地进行着,国内也毫不落伍,网格基础设施建设和网格技术研究工
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 网格 技术 企业 数据 集成 研究 工学 硕士学位 论文