多媒体编程基础Word文档下载推荐.docx
- 文档编号:22819922
- 上传时间:2023-02-05
- 格式:DOCX
- 页数:19
- 大小:230.79KB
多媒体编程基础Word文档下载推荐.docx
《多媒体编程基础Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《多媒体编程基础Word文档下载推荐.docx(19页珍藏版)》请在冰豆网上搜索。
许多图形应用需要人机交互,OpenGL提供了方便的三维图形人机交互接口,用户可以选择修改或者操作三维景观中的物体,以及在三维场景中移动。
最后给出一个例子,是一个在运动中的球。
#include"
“"
gl/“"
"
voidmain()
{
auxInitDisplayMode(AUX_DOUBLE|AUX_RGBA);
auxInitPosition(0,0,400,400);
auxInitWindow("
circle"
);
myinit();
得到了名为RealityLab的3DAPI。
经重新整理,微软发布了新的3DAPI——Direct3D,并整合在中。
从DirectX开始,整个DirectX的设计架构雏形就已基本完成。
但是当时3D游戏程序更多的是基于3DFX的Glide以及ID的QUAKE引擎(OpenGL)开发,支持Direct3D的游戏很少。
1996年后期,微软发布了DirectX,着重对DirectSound3D和DirectPlay进行了修正和升级,在图形处理方面的性能提升反不如Directx显著。
但随着DirectX影响力的逐步提高,它的应用价值要远远超过前者,支持它游戏数量也与日俱增。
这个时候开始出现了可以支持Direct3D的加速卡,如NVIDIA的Riva128。
1997年6月,微软跳过了DirectX,直接推出了DirectX。
DirectX对Direct3D做出了很大的改动在声卡、游戏控制器方面均做了改进,支持了更多的设备。
因此,DirectX发展到DirectX才真正走向了成熟。
DirectXFoundation层的有四个组件:
DirectDraw、Direct3D、DirectInput、DirectSound
DirectXMedia层也由四个组件组成:
DiectShow、DirectAnimation、Direct3DRetainedMode和DirectPlay。
1998年7月,DirectX6正式发布。
在这个新版本中Direct3D功能更强大,运行速度更快;
新增了DirectMusic部件;
DirectShow对DVD提供了高级支持。
DirectDraw在此之后就基本停止更新了。
1999年9月,微软推出了DirectX。
DirectX7最大的进步就是支持硬件T&
L(Transforms&
Lighting),也就是“坐标转换和光源”。
DirectX提供高级3D加速支持,使得多边形的变化更快,它所产生的动画效果非常逼真。
DirectX加强了对力量反馈的功能支持,这一特性可以让游戏通过游戏控制器和附件来发送震动波,反馈非常敏锐。
DirectX的推出使得在3DAPI的争夺中,D3D和OpenGL将当年名噪一时的3dfxGlide远远的抛在了后面。
GLIDE最终被广大开发人员所离弃,3DFX被NVIDIA收购而告终。
2000年9月,微软正式推出了划时代的DirectX8,将可编程的着色管线概念正式引入到GPU,新的shaders(着色器)数据处理方式也是DirectX8中最具意义的创新。
DirectX8中,原有的组件进行了合并:
DirectXGraphics—集成DirectDraw和Direct3D;
DirectXAudio—集成DirectMusic和DirectSound。
2002年底,微软发布。
DirectX9中Shader的渲染精度已达到浮点精度,硬件指令大幅增加,为GPU向通用计算领域的发展迈出了决定性的一步。
DirectX9的出现使得OpenGLAPI在游戏开发领域的应用走到了尾声,微软成功的把OpenGLAPI的应用限制在了专业工作站领域。
DirectX10
2007年,微软发布的DirectX10是自DirectX诞生以来,又一次彻底的重新设计。
其主要优势便是最大程度地降低了CPU负载,通过提前数据验证、纹理阵列、绘制预测、流式输出、状态对象、常量缓冲等机制,帮助游戏的效果和效率上升到一个新的高度,避免了之前DirectX版本因CPU负载过大而无法对图形实施更多细节优化的问题。
在DirectX10的图形流水线体系中,引人瞩目的特性是引入了ShaderModel,在几何处理阶段增加了几何渲染单元(GeometryShader),统一的Shader架构。
总结:
这一章我们主要讨论了如何在程序中加入和控制多媒体元素,主要介绍了MCI、OPENGL、DIRECTX三种接口。
它们各自的特点不同,使用的场合也不同。
这方面的书籍和资料都很多,大家可以根据需要去进一步学习。
第七章多媒体应用系统(不考)
7.1多媒体数据库
MDBMS是指可以有效的组织、管理和存取所有媒体,包括声音、文字、图形、视频的非传统数据库系统。
1.多媒体对数据库设计的影响
✓数据库的组织和存储
✓媒体种类的增加增加了数据处理的困难
✓数据库的多解查询问题
✓用户接口的支持
✓处理长事务增多
✓多媒体数据库对服务质量的要求
✓多媒体数据管理还要考虑版本控制的问题
✓多媒体信息的分布对多媒体数据库体系所带来的巨大影响
2.MDBMS的数据模型
◆扩充的关系数据模型
传统的关系模型结构简单,很难实现空间数据和时态数据,缺乏演绎和推理操作,在MDBMS中使用关系模型,要使它不但能支持格式化数据,也能处理非格式化数据。
◆面向对象的数据模型
面向对象的数据库模型具备很强的抽象能力,能表示带有复杂性及异构性的数据对象,可以以更接近用户思维的方式来描述现实世界的对象。
3.基于内容的检索(CBR)
1从媒体内容中提取信息线索,直接对媒体进行非系,抽取特征
2提取特征的方法多种多样
3人机交互。
人机交互检索可以提高多媒体数据的检索效率
4采用一种近似的匹配技术,是一个逐步求精的过程
4.基于内容的检索实现方法
一是基于传统的数据库检索方法,采用人工方法将多媒体信息内容表达为属性(关键词)集合,再在传统的框架下处理。
这种方法对信息采用了高度抽象、查询方式和范围有限制。
二是基于信号处理理论,采用特征抽取和模式识别的方法来匹配,但全自动地抽取特征和识别时间开销大,并过分依赖于领域知识,识别难度大。
7.2多媒体通信
多媒体通信是多媒体技术与通信技术的完美结合,它突破了计算机、通信、电子等传统领域的界限,把计算机的交互性、网络通信的分布性和多媒体信息的综合性融为一体,提供了全新的信息服务方式。
1.多媒体通信的特点
◆数据量:
数据量大、存储容量大,传输带宽要求高
◆实时性要求:
连续媒体对传输设备的要求很高,要求恰当的通信协议
◆时空约束:
由于通信系统的传输具有串行性,需要采用延迟同步的方
◆法进行再合成
◆交互性:
要求多媒体通信网络提供双向的数据传输能力
◆分布式处理和协同工作:
多网合一,业务具有分布性、协同性
2.多媒体通信的实现途径
话路+视频:
增加话路传输带宽、在话路传送视频信息
网络+视频:
利用计算机网络,进行多媒体信息传输
有线电视+交换功能:
使有线电视系统具有交换能力,实现多媒体通信
3.多媒体通信的服务类型
◆对话服务双向同步传输,如视频会议、视频电话、计算机支持的协同工作。
◆信息服务人与人之间通过计算机系统的信息交换,如MIME(多用途因特网邮件扩充协议)、多媒体邮件远程服务。
◆检索服务一方为客户,一方为服务器之间的信息交换,客户到服务器之间的传送是异步的,而服务器到客户的传送根据检索的媒体采用异步或同步。
如视频服务器、WWW、因特网Gopher。
◆远程动作服务远距离读/写动作。
如远程摄像控制的报警和监视服务。
◆远程操作服务允许用户远距离的完成任务。
如远程控制机器人。
◆分布服务将信息分布到不同的远程节点上服务。
他们是从广播源到目标站点的单向通信。
目前也发展为交互的服务,如交互式电视系统。
4.个人信息通信服务的范例——PDA(个人数字助理)
PDA(PersonalDigitalAssistant,个人数字助理)这种手持设备集中了计算,电话,传真,和网络等多种功能。
它不仅可用来管理个人信息(如通讯录,计划等),更重要的是可以上网浏览,收发Email,可以发传真,甚至还可以当作手机来用。
PDA发展的趋势和潮流就是计算、通信、网络、存储、娱乐、电子商务等多功能的融合。
我国目前PDA研究的几个方向
◆对电子辞典类产品的研究
此类产品以提供辞典功能为主,其它相关功能为辅。
◆对普通掌上电脑产品的研究
此类产品以提供记事、电话簿等功能为主,一般支持手写输入、电脑同步功能,产品系统较为封闭,不能够进行软硬件产品升级。
◆对Wince/Palm类产品的研究
此类产品是指那些以Wince或者Palm嵌入式操作系统为平台,产品可灵活地进行软硬件升级,有大量的软件支持、能够和外界进行数据通信的掌上数字信息设备。
◆对通信类PDA产品的研究
此类产品对语音通信技术和数据通信技术进行了统一,综合了PDA和手机两种特色产品的功能,在网络环境成熟后,将会有更快的发展。
7.3视频会议系统
当今信息社会的发展对通信提出了更高的要求,人们已经不满足简单的语音和文字通信,希望集语音、文字和图像于一体的多媒体通信。
这就是继电报、电话、传真及电子邮件之后又一个新的通信手段。
而视频会议系统就是这种新型通信手段之一,它可以点对点通信,也可以多点对多点的通信,它在同一传输线上承载了音频、视频和数据等多种媒体的信息。
有如下分类:
◆点对点视频系统
①可视电话
②桌面视频会议系统
③会议室型视频会议系统
◆多点视频会议系统
多点会议系统允许三个或三个以上不同地点的参加者同时参与会议,而且可以在广域网中进行,其关键技术就是多点控制问题。
多点控制单元(MCU)在通信网络上控制各个点的视频、音频、通用数据和控制信号的流向,使与会者可以接收到响应的视频、音频等信息,维持会议正常进行。
(1)视频会议系统结构一
多点控制单元MCU是一个数字处理单元,端口一般为8或12个。
实现视频、语音及数据信号的混合与切换,并确定将某一会场的信号分配到哪些会场。
符合ITU-T规范。
视频会议系统的服务质量QoS(QualityofService)是满足视频会议系统需求的核心问题,视频会议系统需要把用户的服务请求映射成预先规定的QoS参数,进而与系统和网络资源对应起来通过资源的分配和调度满足用户的应用需求。
安全保密系统的主要组成部分是加密模块的解密模块,其核心是密钥的生成和管理。
加密算法不包括在国际标准中,由视频会议系统设计者研制或选用。
(2)视频会议系统结构二
标准系统是ITU1990年批准的在窄带ISDN上进行视听业务的标准,被广泛应用。
◆视频编、解码器及附属设备
输入设备是摄像机、输出设备是电视机或监视器。
均为视频模拟信号。
终端设备的核心部件是视频解码器,符合ITU的标准,设置了中间图像格式,为352点*288行,每秒30帧,逐行扫描方式。
◆音频编、解码器及附属设备
输入设备主要为话筒、输出设备主要是扬声器。
编码主要符合ITU标准建议、建议或建议。
用户应用数据(信息通信设备)
有关静态图象的传输设备。
还包括传真机等另一类通信设备。
◆多路复用/信号分离设备
能将视频、音频、数据等信号按建议规格组合成新的数字码流,成为与用户/网络接口兼容的信号格式。
◆用户/网络接口
是用户端的终端设备与网络信道的连接点,是数字电路接口,其特性应该满足ITU-T建议。
◆系统控制部分
包括端到端的通信规程。
这里的通信协议符合建议的要求。
(3)视频会议系统结构三
标准系统描述无服务质量保障的LAN多媒体终端、设备和服务
视频会议系统要能完成视频信号采集、编辑处理及显示输出、音频信号的采集、编辑处理及输出视频音频数字信号的压缩编码和解码,最后将符合国际标准的压缩码流经线路接口送到信道,或从信道将标准压缩码流经线路接口送到终端中。
终端还要生成各种控制信号:
同步控制和指示信号、远端摄像机的控制协议、定义帧结构、呼叫规程及多个终端的呼叫规程、加密标准、传送密钥及多个密钥的管理标准等。
视频显示的转换控制模式主要有以下三种:
◆语音激活模式:
自动模式,会议的视频源根据与会者的发言情况(如声音大小)来转换。
◆主席控制模式:
与会的任一方均可做为会议的主席,可以控制会议的视频源指定为某个与会方。
◆讲课模式:
所有分会场均可观看到主会场的情况,而主会场则可以有选择的观看分会场的情况。
可视电话的概念
在模拟通信网上传输静态图像的电话称为可视电话。
在模拟通信网上和数字网上传输动态或准动态图像的可视电话又称为电视电话。
在不混淆的前提下,一般称为可视电话。
可视电话的组成
语音处理部分:
包括电话、语音编码器
图像输入部分:
常用光导摄像管、CCD摄像机
图像输出部分:
常用电视机、监视器、液晶显示器
图像信号处理部分:
专用控制器(核心)
7.4计算机支持的协同工作系统
简明地说,CSCW是要研究在计算机技术支持的环境下(CS),特别是在计算机网络环境下,一个群体如何协同工作完成一项共同的任务(CW)。
它的目标是要设计出能支持各种各样的协同工作的工具、环境与应用系统。
1.CSCW特点
群体性设计人员采用群体工作方式,设计群体有合理的组成
交互性群接口支持用户与系统的交互
分布性设计人员分布在不同的地点
协同性有共同的工作目标
2.CSCW的基本系统分类
电子邮件系统
电子布告栏系统
群决策支持系统和电子会议室系统
多用户共同编辑系统
计算机会议系统
3.CSCW的关键技术
✓高速多媒体通信网络及协议
✓同步机制
✓CSCW的控制机制和策略
✓多媒体网络环境下的应用接口技术
✓分布式多媒体数据库和超文本技术
4.CSCW的协作模型
对话模型:
将人与人之间的各种复杂的协作建立在两人的交互和动作的协调基础上,而两人间协作是通过特定的言语行为(如请求、许诺)的执行完成的。
会议模型:
是常见的多人间协作形式。
多个协作者通过共享讨论空间组织在一起,可以互相交流、发表见解。
一般不进行两两之间的交互。
如BBS就是基于共享信息协同工作的。
过程模型:
将协作任务分成相互关联的多个小步骤,通过多个人分别单独对小步骤的执行共同来完成任务。
属于高度结构化的协作,适合具有规范的设计和办公过程。
活动模型:
与过程模型相似,但是不是将任务分成连续步骤,而是分成一个个目标明确的子任务。
成员间通过交换信息协作。
分层抽象模型:
会议——活动——合作
5.CSCW系统实现方法
多Agent方法:
MAS研究由多个Agent组成的系统中各Agent行为的协调以及它们之间的协同工作
群接口方法:
群接口的基础是用户界面管理系统。
它应该可以支持多重显示、支持不同用户视图。
协作机制与通告机制:
协作机制是用户间约定的交互方式,解决实时性活动中的同步问题;
通告机制用于处理异步活动,促使用户间更好的协作。
通信网络及控制:
支持集成多媒体传输、支持多点通信、支持灵活快速的存取控制机制。
CSCW系统的层次结构如图所示
7.5交互式电视系统
所谓交互电视是一种受观众控制的电视,在电视节目间和节目内观众能够作出选择、决定,这是一种非对称的双工通信模式的新型电视业务。
1.视频点播的种类
真点播电视(TVOD,TrueVideoOnDemand):
每个用户各占用一套节目,系统及时响应每个用户的点播请求。
准点播电视(NVOD,NearVideoOnDemand):
每隔一段时间在另一个频道重播同一套节目。
用户可以通过换频道来达到后退和快进的效果。
2.VOD系统需求
✓支持200~75000个用户;
✓支持不同的用户可选20~2000个节目;
✓允许用户和系统间进行实时交互;
✓系统必须具有基本导航功能;
✓提供给用户的基本服务包括:
视频娱乐节目、视频教育节目、交互式游戏、混合媒体信息服务及购物服务。
✓采用开放式机顶盒结构,以利于不同的压缩和解压缩算法,HDTV、PAL、NTSC及其他制式的兼容性。
3.交互式电视系统的体系结构
4.视频服务器
(1)视频服务器的功能:
请求处理——接收用户的访问请求
许可控制——检查用户权限、考虑新请求的加入是否影响已有服务的性能
数据检索——从服务器存储系统种检索数据的存放位置
可靠的流传输——向用户提供一个实时的数据流
支持VCR功能——快进、快退等功能
(2)视频服务器种类
基于PC机和工作站的机群技术
大规模并行计算机结构
分布式VOD系统中的视频服务器
适合于实时视频传输的专用硬件结构
5.VOD机顶盒
(1)VOD机顶盒的功能
✓提供与网络的接口
✓音频与视频的解码
✓用户界面和图形控制
✓外围设备控制
✓安全与权限管理
(2)VOD机顶盒的硬件结构
(3)VOD机顶盒的软件结构设计
6.交互电视的典型应用
电影点播服务远程购物游戏卡拉OK服务
新闻点播服务TV列表家庭银行服务Internet访问
小结:
本章主要介绍了多媒体的应用系统。
首先讨论了多媒体数据管理的重要方法——多媒体数据库以及基于内容的检索技术。
简单介绍了多媒体通信的方式和类型,着重描述了几种多媒体通信产品和系统:
PDA、视频会议系统、分布式多媒体为基础的CSCW和视频点播系统。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 编程 基础