分布式系统的结构翻译.docx
- 文档编号:10642208
- 上传时间:2023-02-22
- 格式:DOCX
- 页数:13
- 大小:27.37KB
分布式系统的结构翻译.docx
《分布式系统的结构翻译.docx》由会员分享,可在线阅读,更多相关《分布式系统的结构翻译.docx(13页珍藏版)》请在冰豆网上搜索。
分布式系统的结构翻译
自主模式下的分布式系统结构
摘要:
自主计算已经推出了自动完善、自动修复、自动诊断应用的概念。
在这篇文章中,我们想呈现这个想法是如何影响分布式系统的建设。
作为一个参考,我们在已经开发的项目范围内利用数据管理系统的优势。
数据管理系统能创建一个可以存储大量数据的网络环境。
复杂的架构将整个系统组成耦合的模型并用特殊的方法来维护和管理。
为了解决这些问题,我们在DMS架构中应用了自主计算模式。
我们的解决方案设计在其他项目中反复来解决同样的问题。
它也可以为其他应用程序和服务器提供自主服务。
1.介绍
为了满足分布式环境和精确的性能需求数据网格系统已经设计了复杂的数据处理中心。
多年来,这类系统已经成熟,目前他们正在大范围的提供与其功能相关的管理、协作共享、发布和保存分布式数据的集合。
然而,这些多样的功能管理起这样的大型系统非常复杂,随着更多组件的添加会增加其复杂性,让我们难以找到并解决技术问题。
他们构成了一个典型的例子,说明了一个管理员处在花很多的时间做重复性的任务,监测系统的负担,随时面对可能出现的问题或者阻止黑客攻击的环境。
面向服务体系结构(SOA)的概念,也就是那些常见安装启用基于现有的Web服务标准和规格,可帮助对付这些不便。
一种服务的概念不是什么新鲜事,但SOA这一概念的已经在过去的几年里逐渐发展。
它是一种促进组件之间的松散耦合的软件应用程序的结构风格,您可以重用它们。
SOA,使得构造体系结构成为可能,客户端应用程序可以只需注册,发现,并使用部署在网格中的服务。
SOA本身缩小了整个系统的维护和管理的中心,但它不应对从分布式系统的复杂性衍生的许多问题。
我们需要一个解决方案,这使得系统来自动配置其组件,发现和纠正错误,监视和控制的资源并且积极的识别和保护任意的攻击。
自主计算(AC)的研究提供最有前景的方法来应对这些挑战。
灵感来自于首创处理大型分布式系统中的主要的日益复杂问题的IBM自主计算。
在没有一个人的意识的控制下,自律手段能操作,这类似我们的自主神经系统控制我们的心脏或肺部。
自主计算一般有两个主要目标:
减少与一个庞大的系统相关的工作和复杂性;在系统中,能够更好地应对快速变化。
在本文中,我们想提出的自主计算的概念是如何影响分布式系统的建设的。
此外,我们提供的解决方案,也可以作为一个自主服务的任何其他应用程序和服务。
作为一个参考,我们利用数据管理套件(DMSSuite),这是一个支持在网格环境中数据管理流程的综合服务的平台。
DMSSuite已经在PROGESS项目范围内设计和开发了一个首创,它是在PIONIER的国家方案下开展的一项倡议《资助科学研究》和升阳波兰国务委员会。
目前,数据管理套件是Gridge(电网企业解决方案)的一部分,它涵盖了从工具和门户乃至核心中间件的整个电网结构。
本文的其余部分组织如下:
第二节介绍背景和技术方面的交流模式。
第三节详细介绍了当前实施和DMSSuite以及表明在自主计算方面的进步。
第四节列举一些使用DMSSuite软件的项目案例研究,并提出了自主模式的定义及其与系统架构的关系。
第五节总结本文的结论。
以SOA模式和交流模式为基础,建立分布式系统。
它还表示在即将发布的DMSSuite中,将要举行什么。
2自主计算设计
自主计算的愿景是基于神经系统的。
自主计算机系统,在无需人注意情况下,应该是能够操作的。
他们应该自动地在彼此之间互相操作,而无需调整大量的交换机和XML配置文件。
自主计算是由IBM推出的,作为不可抵抗的增加来响应新的系统的复杂性。
在未来的某个时间段,受时代计算机系统的威胁,日益复杂的过程将会成为一种负担,覆盖其最初的用途。
在罕见的情况下,系统进行常规运行时,根据自主计算的原则构建的系统架构应限制有实践经验人的干预。
这一假设可以通过预定义的政策达成可以作出决策的管理业务,这将导致,以在系统的工作过程中积累的知识为基础,重新配置系统。
这种视觉的愚蠢自我管理的系统,似乎是难以实现,但它允许确定的目标,一个理想的系统架构,采用不同的技术和解决方案实现自主计算假设水平。
自主计算架构可以理解为一个系统的连续。
2.1自CHOP方案范式
有四个部分组成的自主计算视觉:
自我配置-是指能够动态地适应不断变化的环境。
自配置组件使用由专业工作人员提供政策进行自我配置程序。
这种变化可能包括部署新的组件或拆除现有的,甚至显着在系统特性的变化。
自愈-意味着发现,诊断和反应多功能的能力。
自我修复组件可以检测系统中断和基于策略的主动修复程序,没有任何其他环境的影响。
纠正行动可能涉及产品,改变自己的状态,或影响其他的变化组件。
自我优化-意味着自动监视和优化资源的能力。
调整行动可能意味着,例如,重新分配资源(如反应动态变化的工作负荷),提高整体利用率,或确保可以及时完成,特别是交易。
自我保护-指的预测,检测,识别和抵御能力从任何地方的威胁。
自我保护组件可以识别敌对行为因为它们发生,并采取适当行动,以使自己更耐。
“敌对行为可以包括XX的访问和使用,VIMS感染和拒绝服务攻击。
这四个观念一起,形成一个自我-CHOP方案的范例,在短,代表配置,自愈,优化和保护。
2.2成熟度级别
在开发系统,可以实现自主计算架构思路以不同的方式,在不同范围和不同的级别。
有五个成熟度等级,是指国家实施自主计算的建议。
这些级别是:
基本的,有管理,预测,自适应和自主。
虽然distiibuted应用的不断发展沿着这些阶段,新系统的一般状态仍然在基础和管理水平。
这两个基地水平不容许的应用系统环境状况。
基层定义一个架构仍然需要人为干预,专业知识的基础上他们的知识。
管理水平是实现环境与一些脚本和日志记录工具配备,使自动化的例行执行和报告。
计划和作出的决定是基于此聚集信息;然而,它仍然需要一个个别的专家审查。
在自主计算成熟度的预测水平的系统有一个基本的情报,它根据预先设定的阈值和知识基础,建议的解决方案。
根据事件集存储在一个集中的基础和共同事件和经验自适应级别定义的环境,让他们采取行动,根据自己的基础上预测系统功能引起的情况。
被定义为最高水平的自主计算系统架构,这被理解为政策驱动系统,这是能够如分配资源优先次序。
这是值得强调的,系统的成熟水平的发展,有没有办法进行自我优化,自我保护,自我配置和自我修复系统。
3数据管理套件
DMSSuite是一个中间件平台,提供统一的接口连接异构在网络上的数据源。
它可能站为骨干,其中计算网格将执行其操作。
下图描绘了属于这个集成平台的主要成分。
数据管理系统和托特构成了我们的架构的基础结合自主和数据网格技术。
数据管理系统是数据管理套件解决方案的主要组成部分。
它是一个基于中间件应用确定可重用的组件之间的松耦合的SOA模型。
同样的计算和网络资源,DMS提供管理和服务检索数据文件,以支持电网工作。
计算资源管理由DMS可以通过允许创建一个抽象的元数据架构描述,资源的语义和探究性层。
托特测井系统,从而简化了收集系统管理过程的所有事件的DMSSuite分布式组件的传入。
它是基于JMS技术,从而保证在简单的二进制信息交换异步方式。
3.1自主设计
DMSSuite已建成使用一些自主计算的原则,如自我管理故障检测和自我配置。
数据管理系统(DMS)的关键因素-的DMSSuite的-包含三个的逻辑上杰出的模块:
数据经纪人,元数据信息库和数据容器。
他们一起创建基本的数据管理环境,所谓的DMS核心层。
DMS的架构的分布式模块,其中每个组成,可以被视为单独使用XML消息的服务,沟通与其他应用程序。
元数据信息库,存储不同类型的托管资源的信息系统。
数据Broker是一个分布式系统的切入点。
数据容器是一个存储单元,安排各类媒体上的数据。
代理提供一个统一的接口到外部数据源,一个多元化的结构。
内进度安装代理可以访问管理由生物数据银行SRS的(序列检索系统)。
所有属于DMS的中间件模块自动注册自己的元数据储存库中。
据五度自主计算成熟度级别(2.2节),DMSSuite目前在第二(管理)水平。
第一(基本)的成熟水平保证由托特测井系统的存在。
托特是负责收集监视系统中发生的所有事件。
它存储消息内部结构和探索提供了一个接口。
但它是不够的实现成熟的第二个层次,确保系统管理技术可以用来收集资源管理的细节,有助于减少花费的时间管理员收集和综合信息。
因此托特已配备了相关的信息处理的附加功能。
它执行先进的分析,对每一个接收到的事件,构造了一个元数据集他们的基地,并公开的接口,寻找收集的事件,根据到指定的标准。
我们初步的解决方案,旨在满足交流的基本原则是由单一的完成访问整个数据组件的接口。
它允许最终用户(专业人员,管理人员,研究)轻松地管理整个数据网格基础设施作为管理一个应用程序在一台计算机上运行。
此接口已开发在一个门户网站的形式提供了一个单一的和有效的工具,以简化分布式组件的管理。
上面描述的想法,纷纷推出自主计算的概念DMSSuite环境。
这包括自我配置,这是自动注册分布式元数据存储库中的元件和自我修复,这主张恢复在分布式文件系统的一致性。
但是,这些功能构成只有一部分的自动计算模型,是适当的,以达到交流实施的基本水平。
在某些情况下,采取从各种基础观点(用户,开发人员,管理员),我们将指出哪些功能人仍下落不明,并介绍了一些扩展DMS的架构,将采取从自主计算领域的先进功能。
4走向自主模式的概念
一开始,我们想,召回一个明确表达了的几个一般原则设计数据网格架构。
这些是:
机制中立,中立政策,与电网基础设施的兼容性,和信息设备的均匀性。
这些原则是创造DMSSuite的根本原因。
但考虑考虑到实际案例研究,采取了各种项目的FI-OM使用我们的软件,我们注意到缺乏一个交流的能力,这是必要的,以履行企业要求。
这些都是。
自配置:
自我发现和自我配置系统组件。
例如:
目前有关活动的资料信息提供和维护,经纪人和他们的层次结构,自动检测无效数据容器。
自我修复:
自动发现自己的错误和更正。
例如:
陈旧的性质“和其自动爽口,系统恢复文件的搜索,元数据储存库失败后”。
自优化:
连续的监测和对资源使用的控制,这确保他们得以最佳的使用。
例如,文件的自动复制和文件传输在速度和带宽方面的最佳化。
自我保护:
有前瞻性的识别和保护不受攻击。
例如:
对引入威胁的有效监测和以一个系统消息(如邮件、日志杂志等)响应特定事件。
由于以上的假设,我们意识到在构建新的数据网格系统(普通的分布式系统)方向上,定义两个额外的指南是必要的。
它们是:
(1)组件模型——而不是构建一个庞大的结构,因此将所有的资源分配到一个特定的应用程序,软件应该被视为一组逻辑、可重用的服务,这种服务可以动态地使用(和共享)基本的硬件资源。
这些服务应该是跨平台、跨语言、和跨操作系统的。
(2)自主模式——系统设计模式应该导致自我管理服务体系结构的建立和运行时的对于改变环境条件的适应。
它表明事件服务、捕获和子系统之间状态信息的共享、完整性和自我管理系统的自治性的存在。
这种想法将会进一步透露在接下来的部分中。
至于第一点(组件模型),在前面的部分中,我们以一个基于松散耦合的组件分布式系统为例,介绍了数据管理系统。
对于第二个假设——自主模式——的实施包括一个扩展在当下DMS架构。
这一主题将在下一节更精确地描述。
4.1AC原则实现
在我们开始自主运算实现之前,我们以自主模式为基础,定制最初的原则。
我们以这个著名的CHOP模型(2.1节)条目为基础。
自我配置——分布式组件配置在没有任何人类的干预的情况下,以配置对话框或外部文件来配置它们自己。
我们可以假定每个元素对于它们在标准形式和地址中心资料储存库的行为,具有的水平的描述。
这个存储库存储所有属于分布式环境的关于服务的信息和资源。
一个新的元素检索正确的信息,在此基础上它需要运行,配置本身,然后将其自身注册到库中。
Web服务平台(WSDL、UDDI,WS-Addressing和更多)似乎是实现自我配置模式最可行的方案。
自我修复——我们假设分布式环境中应该有能力处理任何一个它有故障的组件。
然而,区分本地和全球的方法是重要的。
前者是与一个可靠和健壮的单一的实体的创建有关,包括使用正确的结构技术或硬件保护。
后者,我们仍然感兴趣,假设存在一个负责做决定的监控元素。
如果分布式组件根据他们所期望的行为执行正确。
如果监控元素可以检测到任何的不一致的服务,那么它的反应,可能终止故障元素或更新存储在信息存储库中适当的记录。
自优化——类似于前面的例子中,我们应该也能区分开本地和全球调优。
当地和全球的调优方面之间。
很明显,每个元素必须有效地利用底层资源,但它并不保证整个环境正常工作。
因此在全球层面上我们假定我们将利用基于策略的管理。
它涉及存在的自主管理,自主管理将根据所需的政策执行自优化操作。
这个政策应该用抽象的语言来表达,例如“平均而言,用户不能等待超过5秒钟”,自主元素将把它转化成系统命令(工作流)并且在相应的环境中执行。
自我保护——自我保护方面涉及两个不同的问题:
由于漏洞或其他意外情况所造成的不合需要的系统行为和攻击者XX的访问。
关于前者的问题,一些自修复或自优化模式是适用于保护不受这类事件的侵害。
例如,当一个单独的节点由于内部故障失败而下降时,自我更新集群可能就是有用的。
还建议利用负责防止任何XX的访问侵害的入侵检测系统。
类似于其他计算系统,自主环境需要强大的安全控制。
它可以通过定义安全策略,来实现。
这些安全策略是前面一段中所描述的自调整政策中的一部分。
事件服务。
作为自主架构的一个基础,我们将使用聚集来自于分布式组件事件的中心日志存储库。
Toth的日志系统,它们已经准备好了在不同的环境中使用并且适应于不同类型的应用程序,非常符合我们的需要。
它的主要的功能,是存储来自许多广泛模块并且满足只有一个基本假设——一个中央信息收集事件。
它不会处理这个数据的统计分析。
该特性在参考AC模式,必须区分可能发生在分布式系统的许多类型的事件时尤其重要。
例如,这些可以这些情况下:
(1)用户等待数据传输的时间比预期的值长;
(2)用户没能登录到系统中;
(3)为一个用户日常传输的数据量超过一个给定的值。
为了处理这些问题,Toth对收集到的信息提供了一个内容分析机制。
它是基于一组以一个关键值的形式传入事件体的属性。
这样的操作序列,包括消息处理和根据指定的标准钻探属性,是在数据库级里实现的。
这些标准可能是一个操作类型、文件的名称或首选的文件传输协议。
在本段中我们已经概述了Toth的一般概念,并且在第二部分,参照自主计算对于它的主要组件提供了详细的描述。
预测水平:
要实现自主计算的第3级(预测),托特配备了两个专门的模块。
首先,它是在“知识库”最近的活动管理的资源的基础上建立的。
这部分申请作为进一步行动和定义全球环境状态的基础。
这是非常重要,要注意这方面的知识并不只包括登录注册模块,变量的值或状态和测量的消息。
它要考虑作为一个真正的知识,这是从收集到的数据绘制得出的基本的结论。
为了实现这一假设,我们已经推出了系统诊断监视器-----一个单独的托特模块有以下特点:
•分析所收集的日志,监视系统组件,并创建建议
•它在生成的几个阈值的基础上的警报。
它保证了主动监测,这意味着在问题出现之前有所反应。
•(自主控制回路)定期运行。
在CHOP方案模型(2.1节)的基础上,我们可以提出几个例子系统规则作为创建建议的论证。
它们们是:
•自优化:
如果一个文件被频繁访问,那么它可以在不同的传播节点。
•自我配置:
如果请求通过分布式组件完成伴有网络错误,那么它可能表明它的失败
•自我修复:
如果一个文件被锁定,超过预约时间,然后它可能是陈旧。
•自我保护:
如果管理员试图登录机以外的安全区,那么它可能表明,试图打破英寸
根据XML的方法和规则进行编码申请的IF(条件)THEN(动作)形式。
此外,我们定义了一套警报系统,这是触发一定的条件(阈值)时发生。
例如,它可以是,“低自由空间”,当空间数据容器使用高于90%时给出报警。
默认情况下,警报通知将被发送到控制台,但Toth也将支持电子邮件或短信通知。
预测水平,确保提供给适当的专业工作人员适当建议的更快更好的决策。
但实现自主计算的目标,涉及到自我过程自动化的程序,它代表着适应性水平。
自适应水平。
(自适应)4级的分布式环境中可自动在现有知识的基础上采取行动。
在知识和必须履行的假定政策和定义的基本规则基础上做出决定。
这一级别的交流提供一个一致的看法,我们必须首先定义一个长期自主计算方法参照的政策。
政策定义为高层次的系统的能力,大致范围的指令,它被元素翻译成将要采取的具体行动。
基于政策的管理在科学家间是一个活跃的研究课题。
在自主计算方法中(它)是指以政策为基础的自我管理。
上一节介绍的系统规则实际上构成了基本形式政策(基于行动IF-THEN)。
为了满足AC4级要求,我们定义了一个目标政策,说明没有达到如何实现这一目标指定的条件(例如,失败后的文件恢复时间不得超过60秒)。
这个概念是远远比系统的MLE灵活,因为人类或自主元素在监视组件不知道其内部的行为的条件下可以执行的具体行动,。
这套规则和政策允许定义所要求的系统的特点及它是一个自我程序执行的基础。
在自我治愈或由单个组件进行自我调整的操作中采取的行动。
因此,它是这些组件的管理接口,提供各种必要装备如何收集的细节和改变托管资源的行为。
面向服务的体系结构定义了一个标准接口的数量,但在为了实现自主计算要求,我们需要提供额外的接口。
因为我们的想法是来自于SOA模型和网格的技术,我们计划在OGSA[10]架构基础上寻找最终解决方法。
从Web服务描述语言(WSDL),OGSA的定义接口和相关公约方面来讲,机制需要创造和构成复杂分布式系统,包括生命周期管理,变更管理和通知。
我们还定义了一个额外的Toth模块,这个模块将采取分布式所需的行动组件。
变更管理-此模块将负责两个主要行动:
•规划-根据假设的政策产生相应的变化计划和建议(系统诊断监视器)。
计划功能可以采取多种形式,从一个简单命令到一个复杂的工作流程。
•执行-调度和执行监视进行必要的修改系统。
我们必须考虑改变计划的执行部分涉及更新Toth的知识基础。
它表明,人的行动结果作为分析和规划及这些行动是如何影响托管资源是必要的,。
自律水平:
5级(自主)密切与业务定义和行业的需求。
它的特点是一个闭环的业务流程水平,业务政策和目标,整个结果操作。
用户互动与自主技术工具来监控业务流程,改变的目标,或两者兼而有之。
在自主计算的最高水平,我们需要延长的意义目标的政策(参见上一节),并提供一个自动detennination的方式在任何情况下最有价值的目标。
为了实现这一目的,我们定义公用事业的政策,这使得利用一个额外的属性-价值表达相对优先的政策。
在自主计算的最高水平,我们需要延长的意义目标的政策(参见上一节),并提供一个自动detennination的方式在任何情况下最有价值的目标。
为了实现这一目的,我们定义公用事业的政策,这使得利用一个额外的属性-价值表达相对优先的政策。
现在情况很复杂,以创建一个系统,这将是100%兼容交流的最高水平。
我们注意到,其实仍然是有需要研究在这方面。
我们的团队在这个方向,并作为一种可能的解决方案进行一些努力我们看到SOA功能的组合(服务流程,服务总线,BPEL)和自主计算的概念。
的详细介绍我们的愿景,然而,超出了本文的范围是(它提供了坚实的背景面向服务的架构),因此我们将勾勒只有一个简要说明这个想法。
让我们假设,我们必须根据SOA原则构建的环境。
这意味着,服务和流程可以分解成工作流活动用来实现他们的任务。
根据SOA的主要假设之一,这些工作流程的创建,管理和监测由专业工作人员其中有专门的工具来执行这些操作。
有这样一个环境,我们可以利SOA概念的优势,并结合与交流模型。
它手段,总之,该系统所执行的建议,诊断监视器可以转化为SOA的具体工作流程,以执行所需的活动在系统中。
这个工作流程可以自动部署一个专门运行时引擎和执行。
由于现有的工具来管理SOA,专业工作人员的可能性进行分析,检查,重新定义或监测这些自主活动。
5结论
在本文中,我们所描述的方法来创建一个分布式环境松散耦合组件组成的,并能够进行自我管理
行动。
这种解决方案可能构成一种新的应用(数据网格系统)的一个例子,面临着日益复杂的系统问题。
我们已经提供了一步一步的解决方案,描述如何达到预期的目标。
我们已开始实施自主计算的基本水平最先进的问题,指的是业务流程级别和商业政策。
DMSuite平台服务作为参考实施的基础上,我们自主模式。
至于有人提到,该软件的当前版本支持基层的交流模式。
但我们目前正在对在这篇文章中,描述的扩展将实施先进的一部分自主计算技术。
这将包括一些定义明确的积极反应情况下,任何“不寻常”事件的检测,产生的建议管理员和许多更多。
仍然有很大的自我意识的环境范围内做。
这不仅是因为分布式应用程序和系统的规模,但也由于(服务质量)支持,因为需要具体要求个人终端用户。
在我们看来,在不久的将来的研究工作将追求自主计算系统完全可视化,这将汇总的依赖网格资源和自主计算软件平台。
这可能是一个通过从学术到企业环境中关键的一步。
参考文献
1.Rychlewski,j.,Weglarz,j.,Starzak,s,Stroinski,m,Nakonieczny,m:
PIONIER;波兰光学网络。
地峡学报2000年研究与开发信息社会会议。
19-28波兹南波兰(2000)
2.Bogdanskim.,Kosiedowskim.,MazurekC,Stroinskim:
促进启用应用程序的过程
在网格门户。
《网格和合作计算(GCC2004)edJianhua的太阳》等的第三国际会议、武汉、Chiny,2004年10月,施普林格、课堂讲稿在计算机科学,3251年,pp.l75-i82
3.Kosiedowski,m,Malecki,m,Mazurek,C,Spychala,p.Wolski,m:
整合生物数据库转移到Grid-Portal环境中,数据库问题研讨会DBiBDBioological数据库。
爱丁堡英国(2005)
4.Grzybowskip,MazurekC,Spychalap,Wolskim:
对网格数据管理系统和门户服务。
提交到网格计算:
基础设施和应用特殊发行的国际期刊的高性能计算应用程序(IJHPCA),卡迪夫大学、英国、http.V/progress.psnc.pl/英语/DMS.pdf
5.期刊的科学技术的计算方法第12卷。
1-网格应用程序——计算方法的新挑战
6.Chervenak,A.,Foster,I.,Kesselman,C,Salisbury,C.andTuecke,S.:
数据网格:
向一个架构的分布式管理和分析的大型科学数据集。
网络和计算机应用,2000
7.KephartJ.O,ChessD.M.,“视觉自主计算的”电脑,卷36,第1版,2003年,第41-45页
8.SteveR.White,JamesE.Hanson,IanWhalley,DavidM.Chess,JeffreyO.Kephart,:
一个架构方式自主计算,国际会议上自主计算(ICAC04年),五月17—18,2004
年。
9.Foster,I.,KesselmanC,TueckeS.:
网格的剖析:
实现可伸缩虚拟组织。
国际期刊的高执行计算应用,2001.15(3):
p.200-222。
10.FosterI.,KesselmanC,NickJ.M.,TueckeS:
生理的网格:
一个开放的网格
服务架构为分布式系统
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分布式 系统 结构 翻译