基于云计算技术的渲染应用doc.docx
- 文档编号:4169837
- 上传时间:2022-11-28
- 格式:DOCX
- 页数:34
- 大小:4.26MB
基于云计算技术的渲染应用doc.docx
《基于云计算技术的渲染应用doc.docx》由会员分享,可在线阅读,更多相关《基于云计算技术的渲染应用doc.docx(34页珍藏版)》请在冰豆网上搜索。
基于云计算技术的渲染应用doc
江苏科技大学南徐学院
2011届毕业设计(论文)
基于云计算技术的渲染应用
系部:
电子与信息工程
专业名称:
通信工程
班级:
07428261
学号:
0742826120
作者:
江哲
指导教师:
刘镇
2011年6月8日
江苏科技大学南徐学院本科毕业论文
基于云计算技术的渲染应用
Renderingbasedoncloudcomputingapplications
摘要
云渲染,是在传统渲染农场的原理基础上,采用云计算技术而形成的一种新型渲染模式。
因为云计算的核心思想是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池向用户按需服务。
所以基于云计算的3D网络渲染可以解决传统渲染农场中负载不均衡,单机效率低下,以及文件系统繁复所造成的管理混乱等问题。
本课题主要是研究云计算技术该如何应用在多机集群渲染中,从而能够达到负载均衡,以及单机高效等指标;并且讲述应该如何构建一个云渲染平台,能够充分发挥云计算的优点,解决文件系统繁乱复杂等问题;最终可以达到管理高效,自动管理等目标。
为了达到以上目标,所使用的管理软件必须包括三个模块:
第一个模块为管理控制台(XMC),第二个模块为渲染任务调度服务器(Master),第三个模块为渲染节点程序(Slave)
第一个部分为管理控制台界面,此模块体现出了云渲染中的高效管理和自动管理。
用户可以在界面中提交任务,主要特点为基于WEB的界面,用户不需要安装客户端软件,即可以提交和监控任务,可以查看任务状态,以及划分后的每个子任务的状态,并且可以查看每个子任务的输出,察看结果;可以改变任务的调度顺序等;支持中文和英文,对于计算节点而言,可以监控节点的运行状态,支持远程对节点关机/休眠和远程唤醒。
第二个部分为任务调度服务器,该模块体现出云渲染中任务分配合理高效等优点。
该模块可以支持上百个渲染节点。
其基本功能为将用户提交的任务划分成为子任务后,分发到每个机群节点上运行,并且收集计算结果。
节点之间的数据共享可以采取Windows共享文件夹。
在机群资源的管理上,采用四级映射机制,分别为用户组,任务队列,节点组和文件服务器,两两之间都为多对多映射,可以根据具体的应用环境,采取合适的资源分配/调度策略。
第三个部分为集群节点上的执行引擎,该模块能够发挥云渲染中负载均衡的特点。
负责监控当前计算节点的资源,如果资源空闲,则从任务调度系统获取,执行和监控子任务(包括输入/输出),并且负责将计算结果交给任务调度系统,从而最终展现给用户。
关键词:
云计算、管理平台、文件系统
Abstract
Cloudrendering,renderfarminthetraditionalprinciplebasedontheuseofcloudcomputingtechnologyandtheformationofanewrenderingmode.Becausethecoreideaofcloudcomputingistoalargenumberofcomputingresourceswiththenetworkconnectionunifiedmanagementandscheduling,toformapoolofcomputingresourcesondemandservicestousers.Therefore,network-basedcloudrendering,3Drenderfarmcanbesolvedinthetraditionalloadimbalance,inefficiencystand-alone,anddocumentmanagementsystemcreatedbycomplexdislocation.
Themaintopicistostudyhowcloudcomputingtechnologiesusedinmulti-machineclusterrendering,thustoachieveloadbalancing,andsingleandhighefficiencyindicators;andtellshowtobuildacloudrenderingplatform,abletogivefullplaytotheadvantagesofcloudcomputingtoaddressfileComplicatedchaoticsystemandcomplexproblems;eventuallymanagedtoachieveefficient,automatedmanagementobjectives.
Toachievetheaboveobjectives,theuseofmanagementsoftwaremustincludethreemodules:
firstmoduleforthemanagementconsole(XMC),asecondmoduleforrenderingthetaskschedulerserver(Master),athirdmoduleforrenderingnode(Slave)
Thefirstpartofthemanagementconsoleinterface,thismodulereflectsthecloudrenderingofefficientmanagementandautomatedmanagement.Userscansubmittasksintheinterface,themainfeaturesofWEB-basedinterface,usersdonotneedtoinstallclientsoftware,whichcansubmitandmonitortasks,youcanviewjobstatus,andaftereachsub-divisionstatusofthetask,andcanseeeachTheoutputofsub-tasks,seetheresults;canchangetheorderoftaskscheduling,etc.;supportChineseandEnglish,forthecomputenodes,wecanmonitortheoperationalstatusofthenode,remotenodeshutdownhibernateandremotewake-up.
Thesecondpartofthetaskschedulingserver,renderingthemodulereflectthecloudsintherationalandefficientdistributionoftasksandsoon.Themodulecansupporthundredsofrenderingnodes.Itsbasicfunctionistobesubmittedbytheusertaskintosubtasks,thedistributiontoeachclusternode,run,andcollecttheresults.SharingofdatabetweennodescantakeWindowssharedfolder.Managementofresourcesinthecluster,usingthefourmappingmechanism,respectively,fortheusergroup,taskqueues,andfileservernodegroup,betweentwoto-manymappingbetweenall,basedonspecificapplicationenvironment,taketheappropriateallocationofresourcesschedulingpolicy.
Thethirdpartoftheclusternodesintheexecutionengine,themodulecanplaycloudrenderingloadbalancingfeatures.Responsibleformonitoringthecurrentcomputenoderesources,ifresourcesareidle,thetaskschedulingsystemfromtheacquisition,implementationandmonitoringofsub-tasks(includinginput/output),andisresponsiblefortheresultstotheschedulingsystem,andultimatelypresentedtotheuser.
Keywords:
CloudComputing、Managementplatform、FileSystem
第一章绪论
1.1研究背景
近年来,我国的动漫行业作为自主创新的朝阳产业,取得了可喜的发展。
涌现出一系列以三维动画制作为基础的优秀动漫作品,并带动动漫周边产业的热销,产业链条基本形成。
但是,在三维动画制作过程中,动画设计者经常遇到这样的难题——制作十帧长的动画可能只需要十几分钟,但是渲染这十帧长的动画往往需要花费一百多分钟甚至几百分钟,而在渲染的时间里电脑几乎是干不了其他任何的事情。
在电影和高清节目的制作上此类问题更加突出,渲染周期常常以天,乃至以月计算。
虽然当前的超级计算机可以完成这样需要大量运算的渲染任务,但是过于高昂的售价和过于庞大的体积都让大部分中小型动漫制作企业望而却步。
为什么会遇到这种状况呢?
我先来介绍一下什么是渲染。
3D动画的制作一般分为:
场景、建模、美工、渲染四个步骤。
前期的场景、建模和美工都是由人来完成工作的,而后期的渲染这一步骤,主要是将前期制作的场景和模型,加入摄像头和光源后,通过专门的渲染软件计算出3D场景中的光效果。
这个光效指的就是光在场景和模型中的反射、折射等。
渲染这一步骤是全由计算机独立计算完成。
所以说渲染时间的长短和渲染画质的好坏,全凭计算机的性能!
对于中国的影视动漫产业而言,拥有一种经济快速的渲染渠道,已经是势在必行的了。
云计算是基于互联网的商业计算模型,利用高速互联网的传输能力,将数据处理过程从个人计算机或服务器转移到互联网上的服务器集群中,达到超级计算机的计算能力。
将云计算应用于动漫制作中的渲染过程,可以给动漫制作提供更稳定、更快速、无渲染瓶颈的渲染服务,达到缩短制作周期,降低制作成本的效果。
1.2研究现状及存在问题
2009年1月份,在CES展会上,AMD与OTOY、EA等合作伙伴一道演示了“AMDFusionRenderCloud”云渲染技术。
在该演示中,AMD首先采用一台配置PhenomⅡX4处理器、RadeonHD4870X2的顶级台式机中渲染ElectronicArts的“雇佣兵2:
战火纷飞”游戏,然后渲染画面通过有线网络发送到一部基于Yukon平台的HPPaviliondv2超薄笔记本电脑上,用户在笔记本电脑中对游戏进行控制,指令通过网络再传送至台式机,台式机则将渲染结果传回、显示在笔记本电脑的Web界面上。
此时笔记本电脑就相当于一部客户机端、只做显示和键鼠输入控制功能,游戏的全部处理工作都在远程完成。
同时,AMD还演示了云模式下的高清解码:
用户在笔记本电脑上使用浏览器远程播放了一段1080p蓝光电影,而实际上视频解码工作则是在台式机中完成的。
尽管用于演示的笔记本电脑性能只比普通Atom上网本强一点,但是无论3D渲染画面还是蓝光视频都表现得非常理想,这当然是背后那台高性能PC的功劳。
现在,国外出现了许多的云渲染平台,国内也开始陆续出现这一平台。
但是,如果大家仔细研究这些云渲染平台,就会发现这些平台其实并没有用到多少云计算技术。
如果真要详细说的话,这些渲染平台最多只能算是分布式并行集群渲染平台,还不能算是云渲染平台。
图1-1一种云渲染的构架方案
因为云计算技术除了涉及到分布式计算、并行计算等相关传统计算技术之外,还涉及到网络存储、虚拟化、负载均衡等新型技术。
现阶段所存在的网络渲染平台并没有属于自己的云计算文件系统,还是使用传统的FTP文件传输协议技术。
所以它们并不能做到实时渲染,只能由用户先将要渲染的模型文件上传到渲染网站中,再由网站的渲染平台做渲染。
另外这些渲染平台也没有解决负载均衡这一问题,其渲染节点的使用率并不能做到相一致,从而造成了资源浪费。
1.3研究的内容和意义
我的这篇论文主要是研究如何将云计算技术中应用到3D渲染中。
云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算能力、存储空间和信息服务。
这种资源池称为“云”。
“云”是一些可以自我维护和管理的虚拟计算资源,通常是一些大型服务器集群,包括计算服务器、存储服务器和宽带资源等。
云计算将计算资源集中起来,并通过专门软件实现自动管理,无需人为参与。
用户可以动态申请部分资源,支持各种应用程序的运转,无需为繁琐的细节烦恼,能够更加专注于自己的业务,有利于提高效率、降低成本和技术创新。
当3D渲染运用到云计算技术后,可以大幅提升渲染的速度。
也可以大幅提高渲染的质量。
用户不需要再像以前一样,要将模型文件上传至渲染平台的网站,请渲染平台渲染。
而是直接调用渲染平台中的节点资源,自行渲染。
同时渲染平台在拥有了云计算技术后就可以做到负载均衡,使每个渲染节点都能提高效率。
第二章课题相关技术——云计算
2.1云计算的概念
狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。
这种服务可以是IT和软件、互联网相关,也可是其他服务。
云计算(CloudComputing)是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机和网络技术发展融合的产物。
云计算的核心思想,是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池向用户按需服务。
提供资源的网络被称为“云”。
“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
这种特性经常被称为像水电一样使用IT基础设施。
总的来说,云计算可以算作是网格计算的一个商业演化版。
2.2云计算的特点
从研究现状上看,云计算具有以下特点:
1)超大规模:
“云”具有相当的规模,Google云计算已经拥有100多万台服务器,亚马逊、IBM、微软和Yahoo等公司的“云”均拥有几十万台服务器。
“云”能赋予用户前所未有的计算能力。
2)虚拟化:
云计算支持用户在任意位置、使用各种终端获取服务。
所请求的资源来自“云”,而不是固定的有形的实体。
应用在“云”中某处运行,但实际上用户无需了解应用运行的具体位置,只需要一台笔记本或一个PDA,就可以通过网络服务来获取各种能力超强的服务。
3)高可靠性:
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机更加可靠。
4)通用性:
云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一片“云”可以同时支撑不同的应用运行。
5)高扩展性:
“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。
6)按需服务:
“云”是一个庞大的资源池,用户按需购买,像自来水、电和管道煤气一样计费。
7)及其廉价:
“云”的特殊容错措施使得可以采用及其廉价的节点来构建成云;“云”的自动化管理使数据中心管理成本大幅降低;“云”的公用性和通用性使资源利用率大幅提升;“云”设施可以建在电力资源丰富的地区,从而大幅降低能源成本。
因此,“云”的成本具有前所未有的性能价格比!
2.3云计算的服务方式
云计算按照服务类型大致可以分为三类:
将基础设施作为服务IaaS、将平台作为服务PaaS、将软件作为服务SaaS,如图2-1所示。
图2-1云计算的服务类型
IAAS(Infrastructure-as-a-service)的意思是基础设施即服务,是一种资源抽象,是指把基础设施经过虚拟化后的计算资源、存储资源和网络带宽等以服务的方式通过互联网提供给用户使用,也是一种托管型的硬件使用方式。
不同云计算提供商的基础设施层所提供的服务有所不同,实现方式也有区别,但都有一个共同点就是面对大规模的硬件资源,为实现高层次的资源管理,对底层资源进行的虚拟化。
通过虚拟化这一过程,屏蔽了硬件资源产品上的差异,也为实现各种硬件资源的统一管理提供了逻辑接口。
基础设施层的资源虚拟化往往具有多个层次。
目前业界提出了虚拟机、集群、虚拟数据中心和云等若干层次分明的资源抽象。
资源虚拟化为资源管理逻辑定义了操作的对象和粒度,是构建基础设施层的基础。
通过对不同品牌和型号的物理资源进行抽象,以一个全局统一的资源池进行管理并呈现给客户,是基础设施层的关键。
PAAS(Platform-as-a-service)的意思是平台即服务,是指将软件研发的平台作为一种服务提供给使用者,在这过程中,也使用到了SAAS所提供的服务,因此,PAAS也是SAAS模式的一种应用。
云计算提供商把服务器平台作为一种服务提供的商业模式。
在传统的软件开发时代,若想要开发一个系统,开发者必须先准备开发硬件、软件平台,而在云计算时代这些都不用开发者自己准备,可以直接使用云计算提供商提供的服务器平台和开发环境,大大缩短了开发周期。
PAAS为开发者提供了便利,主要是因为它能提供企业研发所需要的中间件平台(涵盖了数据库和WEB应用发布服务器),同时这个中间件平台是可定制的。
应用软件开发者根据自己的需要,定制适合自己的开发平台,从而丰富了基于该平台的应用,也丰富了SAAS服务。
SAAS(Software-as-a-service)的意思是软件即服务,是一种基于互联网提出的软件服务应用模式。
SAAS服务提供商把所提供的服务软件统一的部署在自己建立的数据中心里,企业只需提出需求,然后利用提供商提供的服务。
有了这种服务模式,企业用户或个人用户再也不用像使用传统系统软件那样建立服务器、购买硬件、软件等,只需要有能接入互联网的终端,使用浏览器访问所需服务。
用户也不用考虑版本和日常维护等,这些都由服务提供商进行处理。
对于广大中小型企业来说,SAAS这种网络布局模型为他们带来的不仅仅是方便,更为他们带来了很大的商机,规避了投资风险。
因为这种模型便于用户通过互联网托管、部署和接入。
用户也是按需缴纳费用而不用一次性投入大量的人力和物力。
2.4云计算的实现机制
由于云计算分为IaaS、PaaS、和SaaS三种类型,不同的厂家又提够了不同的解决方案,目前还没有一个统一的技术体系结构。
但是综合不同厂家的方案,可以构造一个供参考的云计算体系结构,如图2-2所示。
图2-2云计算技术体系结构
云计算的体系结构分为四层:
物理资源层、资源池层、管理中间件层和SOA构建层。
物理资源层包括计算机、存储器、网络设施、数据库和软件等。
资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、数据资源池等。
构建资源池更多的是物理资源的集成和管理工作,例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点的替换的问题并降低能耗。
管理中间件层负责对云计算的资源进行管理,并对众多应用任务进行调度,使资源能够高效、安全地为应用提供服务。
SOA构建层将云计算能力封装成标准的WEBServices服务,并纳入到SOA体系进行管理和使用,包括服务接口、服务注册、服务查找、服务访问和服务工作流等。
管理中间件层和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供。
云计算的管理中间件层负责资源管理、任务管理、用户管理和安全管理等工作。
资源管理负责均衡地使用云资源节点,检测节点的故障并试图恢复或屏蔽之,并对资源的使用情况进行监视统计;任务管理负责执行用户或应用提交的任务,包括完成用户任务映像的部署和管理、任务调度、任务执行、任务生命期管理等;用户管理是实现云计算商业模式的一个必不可少的环节,包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等;安全管理保障云计算设施的整体安全,包括身份认证、访问授权、综合防护和安全审计等。
基于上述体系结构,这里简述一下典型云计算平台的实现机制。
用户交互接口向应用以WebServices方式提供访问接口,获取用户需求。
服务目录是用户可以访问的服务清单。
系统管理模块负责管理和分配所有可用的资源,其核心是负载均衡。
配置工具负责在分配的节点上准备任务运行环境。
监视统计模块负责监视节点的运行状态,并完成用户使用节点情况的统计。
执行过程并不复杂,用户交互接口允许用户从目录中选取并调用一个服务,该请求传递给系统管理模块后,它将为用户分配恰当的资源,然后调用配置工具为用户准备运行环境。
2.5云计算的文件系统
Google云计算最核心技术是GFS、MapReduce和Bigtable,其中GFS指的就是谷歌文件系统。
由此可见,文件系统是云计算技术中最为核心的技术之一。
实现一种云计算,构建其文件系统是最为重要的步骤之一。
在这里我就简要介绍两种文件系统,它们分别是:
HDFS和GPFS。
其中,GPFS就是我在这次毕业设计中所用到的文件系统。
2.5.1HDFS
自从云计算的概念被提出之后,不断地有IT厂商推出自己的云计算平台。
但这些平台无一列外都是商业性平台,对于想要继续研究和发展云计算技术的个人和科研团体来说,无法获得更多的了解。
而开源云计算系统则为研究者们带来了希望。
其中,最为知名的开源云计算系统之一就是Hadoop。
Hadoop模仿和实现了Google云计算的主要技术,其核心技术分别是:
HadoopHDFS、HadoopMapReduce、HadoopHBase。
HDFS就是开源云计算Hadoop的分布式文件系统。
HDFS是一个主从结构体系,HDFS集群有一个NameNode和很多个DataNode组成。
NameNode管理文件系统的元数据,DataNode存储实际的数据。
客户端联系NameNode以获取文件的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 计算 技术 渲染 应用 doc
![提示](https://static.bdocx.com/images/bang_tan.gif)