多媒体技术基础知识.docx
- 文档编号:4025216
- 上传时间:2022-11-27
- 格式:DOCX
- 页数:20
- 大小:48.02KB
多媒体技术基础知识.docx
《多媒体技术基础知识.docx》由会员分享,可在线阅读,更多相关《多媒体技术基础知识.docx(20页珍藏版)》请在冰豆网上搜索。
多媒体技术基础知识
多媒体技术基础知识
21世纪是信息化社会,以信息技术为主要标志的高新技术产业在整个经济中的比重不断增长,多媒体技术及其产品是当今世界计算机产业发展的新领域。
多媒体技术使计算机具有综合处理声音、文字、图像和视频的能力,它以形象丰富的声、文、图信息和方便的交互性,极大地改善了人机界面,改变了使用计算机的方式,从而为计算机进入人类生活和生产的各个领域打开了方便之门,给人们的工作、生活、学习和娱乐带来深刻的变化。
本章主要内容:
∙多媒体技术的概念、发展历程;
∙流媒体技术;
∙多媒体技术的研究内容和应用领域;
∙多媒体产品的开发模式、开发工具以及开发流程;
∙多媒体产品的问题。
1.1概述
在当今数字化时代,多媒体已经从一个时髦的概念变成一种实用的技术。
计算机是人们应掌握的基本技能之一,而使用计算机必然用到多媒体。
多媒体技术不仅应用到教育、通信、工业、军事等领域,也应用到动漫、虚拟现实、音乐、绘画、建筑、考古等艺术领域,为这些领域的研究和发展带来勃勃生机。
多媒体技术影响着科学研究、工程制造、商业管理、广播电视、通信网络和人们的生活。
多媒体技术是20世纪后期发展起来的一门新型技术,它大大改变了人们处理信息的方式。
早期的信息传播和表达信息的方式,往往是单一的和单向的。
后来随着计算机技术、通信和网络技术、信息处理技术和人机交互技术的发展,拓展了信息的表示和传播方式,形成了将文字、图形图像、声音、动画和超文本等各种媒体进行综合、交互处理的多媒体技术。
1.1.1多媒体技术的基本概念
1.媒体的概念及类型
媒体(medium)是信息表示和传播的载体。
媒体在计算机领域有两种含义:
一种是指媒质,即存储信息的实体,如磁盘、光盘、磁带、半导体存储器等;二是指传递信息的载体,如数字、文字、声音、图形和图像等。
国际电话与电报咨询委员会(CCITT)将媒体做如下分类。
1)感觉媒体
感觉媒体(perceptionmedia)指能直接作用于人的感官,使人直接产生感觉的媒体。
如人类的语言、音乐、声音、图形、图像,计算机系统中的文字、数据和文件等都是感觉媒体。
2)表示媒体
表示媒体(representationmedia)是为加工、处理和传输感觉媒体而人为研究,构造出来的一种媒体。
其目的是更有效地加工、处理和传送感觉媒体。
表示媒体包括各种编码方式,如语言编码、文本编码、图像编码等。
3)表现媒体
表现媒体(presentationmedia)是指感受媒体和用于通信的电信号之间转换的一类媒体。
它又分为两种:
一种是输入表现媒体,如键盘、摄像机、光笔、话筒等;另一种是输出表现媒体,如显示器、音箱、打印机等。
4)存储媒体
存储媒体(storagemedium)是用来存放表示媒体,以方便计算机处理、加工和调用,这类媒体主要是指与计算机相关的外部存储设备。
5)传输媒体
存储媒体是用来将媒体从一处传送到另一处的物理载体。
传输媒体是通信中的信息载体,如双绞线、同轴电缆、光纤等。
在多媒体技术中所说的媒体一般指感觉媒体。
感觉媒体通常又分为3种。
1)视觉类媒体
视觉类媒体(visionmedia)包括图像、图形、符号、视频、动画等。
图像(image)即位图图像(bitmap),将所观察的景物按行列方式进行数字化,对图像的每一点都用一个数值表示,所有这些值就组成了位图图像。
显示设备可以根据这些数字在不同的位置表示不同颜色来显示一幅图像。
位图图像是所有视觉表示方法的基础。
图形(graphics)是图像的抽象,它反映图像上的关键特征,如点、线、面等。
图形的表示不直接描述图像的每一点,而是描述产生这些点的过程和方法。
如用两个点表示直线,只要记录这两点的位置,就能画出这条直线。
符号(symbol)包括文字和文本,主要是人类的各种语言。
符号在计算机中用特定的数值表示,如ASCII码、中文国标码等。
视频(video)又称动态图像,是一组图像按时间顺序的连续表现。
视频的表示与图像序列、时间关系有关。
动画(animation)是动态图像的一种,与视频不同之处在于,动画中的图像采用的是计算机产生出来或人工绘制的图像或图形,而视频中的图像采用的是真实的图像。
动画包括二维动画、三维动画等多种形式。
2)听觉类媒体
听觉类媒体包括话音、音乐和音响。
话音(speech)也叫语音,是人类为表达思想通过发音器官发出的声音,是人类语言的物理形式。
音乐是符号化了的声音,比语音更规范。
音响则指自然界除语音和音乐以外的声音,包括天空的惊雷、山林的狂风、大海的涛声等,也包括各种噪声。
3)触觉类媒体
触觉类媒体通过直接或间接与人体接触,使人能感觉到对象位置、大小、方向、方位、质地等性质。
计算机可以通过某种装置记录参与者(人或物)的动作及其他性质,也可以将模拟的自然界的物质通过一些事实上的电子、机械的装置表现出来。
2.多媒体技术的概念
多媒体(multimedia)是指信息表示媒体的多样化,它能够同时获取、处理、编辑、存储和展示两种以上不同类型信息媒体的技术。
这些信息媒体包括文字、声音、图形、图像、动画与视频等。
多媒体不仅是指多种媒体本身,而且包含处理和应用它的一整套技术,因此,“多媒体”与“多媒体技术”是同义词。
多媒体技术将所有这些媒体形式集成起来,使人们能以更加自然的方式使用信息和与计算机进行交流,且使表现的信息图、文、声并茂。
因此,多媒体技术是计算机集成、音频视频处理集成、图像压缩技术、文字处理、网络及通信等多种技术的完美结合。
多媒体技术就是计算机交互式综合处理多种媒体信息——文本、图形、图像和声音,使多种信息建立逻辑连接,集成为一个系统并具有交互性。
简言之,多媒体技术就是计算机综合处理声、文、图信息的技术,具有集成性、实时性和交互性。
3.多媒体技术的主要特征
根据多媒体技术的定义,它有4个显著的特征,即集成性、实时性、数字化和交互性,这也是它区别于传统计算机系统的特征。
1)集成性
一方面是媒体信息的集成,即文字、声音、图形、图像、视频等的集成。
在众多信息中,每一种信息都有自己的特殊性,同时又具有共性,多媒体信息的集成处理把信息看成一个有机的整体,采用多种途径获取信息、统一格式存储信息、组织与合成信息,对信息进行集成化处理。
另一方面是显示或表现媒体设备的集成,即多媒体系统不仅包括计算机本身,而且包括像电视、音响、摄像机、DVD播放机等设备,把不同功能、不同种类的设备集成在一起使其共同完成信息处理工作。
2)实时性
实时性指在多媒体系统中声音及活动的视频图像是强实时的(hardrealtime),多媒体系统需提供对这些与时间密切相关的媒体实时处理的能力。
3)数字化
数字化指多媒体系统中的各种媒体信息都以数字形式存储在计算机中。
4)交互性
人可以通过多媒体计算机系统对多媒体信息进行加工、处理并控制多媒体信息的输入、输出和播放。
简单的交互对象是数据流,较复杂的交互对象是多样化的信息,如文字、图像、动画以及语言等。
多媒体技术是一种基于计算机的综合技术,包括数字信号处理技术、音频和视频压缩技术、计算机硬件和软件技术、人工智能和模式识别技术、网络通信技术等。
它包含了计算机领域内较新的硬件技术和软件技术,并将不同性质的设备和媒体处理软件集成为一体,以计算机为中心综合处理各种信息。
1.1.2多媒体技术的发展历程
多媒体计算机是一个不断发展、不断完善的系统。
多媒体技术最早起源于20世纪80年代中期。
1984年美国Apple公司首先在Macintosh机上引入位图(bitmap)等技术,并提出了视窗和图标的用户界面形式,从而使人们告别了计算机枯燥无味的黑白显示风格,开始走向色彩斑斓的新征程。
在1985年,美国Commodore公司推出了世界第一台真正的多媒体系统Amige,这套系统以其功能完备的视听处理能力、大量丰富的实用工具以及性能优良的硬件,使全世界看到了多媒体技术的美好未来。
1986年荷兰Philips公司和日本Sony公司联合推出了交互式紧凑光盘系统CD-I,它将高质量的声音、文字、计算机程序、图形、动画及静止图像等都以数字的形式存储在650MB的只读光盘上。
用户可以通过读取光盘上的数字化内容来进行播放。
大容量光盘的出现为存储表示文字、声音、图形、视频等高质量的数字化媒体提供了有效的手段。
1987年,RCA公司首次公布了交互式数字视频系统(digitalvideointeractive,DVI)技术的科研成果。
它以计算机技术为基础,用标准光盘片来存储和检索静止图像、动态图像、音频和其他数据。
1988年Intel公司将其技术购买,并于1989年与IBM公司合作,在国际市场上推出第一代DVI技术产品,随后在1991年推出了第二代DVI技术产品。
随着多媒体技术的迅速发展,特别是多媒体技术向产业化发展,为了规范市场,使多媒体计算机进入标准化的发展时代,1990年,由Microsoft公司会同多家厂商成立了“多媒体计算机市场协会”,并制定了多媒体个人计算机(MPC-1)的第一个标准。
在这个标准中,制定了多媒体计算机系统应具备的最低标准。
1991年,在第六届国际多媒体和CD-ROM大会上宣布了扩展结构系统标准CD-ROM/XA,从而填补了原有标准在音频方面的缺陷,经过几年的发展,CD-ROM技术日趋完善和成熟。
而计算机价格的下降,为多媒体技术的实用化提供了可靠的保证。
1992年,正式公布MPEG-1数字电视标准,它是由运动图像专家组(movingpictureexpertgroup)开发制定的。
MPEG系列的其他标准还有MPEG-2、MPEG-4、MPEG-7和现正在制定的MPEG-21。
1993年,“多媒体计算机市场协会”又推出了MPC的第二个标准,其中包括全动态的视频图像,并将音频信号数字化的采集量化位数提高到16位。
1995年6月,多媒体个人计算机市场协会又宣布了新的多媒体计算机技术规范MPC3.0。
事实上,随着应用要求的提高,多媒体技术的不断改进,多媒体功能已成为新型个人计算机的基本功能,MPC的新标准也无继续发布的必要性。
多媒体技术已经从一个乳婴成长为一个青年,随着技术的不断发展和创新,多媒体技术将更多地融入我们的日常学习、工作和生活。
多媒体技术不仅是多学科交汇的技术,也是顺应信息时代的需要,它能促进和带动新产业的形成和发展,能在多领域应用。
多媒体技术发展方向是高分辨率化,提高显示质量;高速度化,缩短处理时间;简单化,便于操作;高维化,三维、四维或更高维;智能化,提高信息识别能力;标准化,便于信息交换和资源共享;多媒体技术的发展趋势是计算机支持的协同工作环境(computersupportedcollaborativework,CSCW);增加计算机的智能,如文字和语音的识别和输入、自然语言理解和机器翻译、图形的识别和理解、机器人视觉和计算机视觉、知识工程以及人工智能等;把多媒体和通信技术融合到CPU芯片中等。
1.1.3流媒体技术
流媒体是从英语StreamingMedia翻译过来的,它是一种可以使音频、视频和其他多媒体信息能够在Internet及Intranet上以实时的、无须下载等待的方式进行播放的技术,流式传播方式是将动画、视频、音频等多媒体文件经过特殊的压缩方式分成一个个压缩包,由视频服务器向用户计算机连续、实时地传递。
1.流式传输的概念和分类
在网络上传输音频、视频等要求较高带宽的多媒体信息,目前主要有下载和流式传输两种方案。
下载方式的主要缺点是用户必须等待所有的文件都传送到位,才能够利用软件播放。
随着互联网的普及和多媒体技术在互联网上的应用,迫切要求能解决实时传送视频、音频、计算机动画等媒体文件的技术。
因此流式传输就应运而生了。
1)流式传输
通俗地讲,流式传输就是在互联网上的音视频服务器将声音、图像或动画等媒体文件从服务器向客户端实时连续传输,用户不必等待全部媒体文件下载完毕,而只需延迟几秒或十几秒,就可以在用户的计算机上播放,而文件的其余部分则由用户计算机在后台继续接收,直至播放完毕或用户中止。
这种技术使用户在播放音视频或动画等媒体的等待时间减少,而且不需要太多的缓存。
2)流媒体
就是在网络中使用流式传输技术的连续时基媒体(如视频和音频数据)。
这种技术的出现,使得在窄带互联网中传播多媒体信息成为可能。
这主要是归功于1995年ProgressiveNetwork公司(即后来的RealNetwork公司)推出的RealPlay系列产品。
实际上,流媒体技术是网络音频、视频技术发展到一定阶段的产物,是一种解决多媒体播放时带宽问题的“软技术”。
这是融合了很网络技术之后所产生的技术,涉及到流媒体数据的采集、压缩、存储、传输和通信等领域。
实现流式传输有两种:
实时流式传输(realtimestreaming)和顺序流式传输(progressivestreaming)。
3)顺序流式传输
顺序流式传输是指顺序下载,在下载文件的同时用户可观看在线媒体。
在给定时刻,用户只能观看已下载的那部分,而不能跳到还未下载的部分,顺序流式传输不像实时流式传输在传输期间根据用户连接的速度做调整。
由于标准的HTTP服务器可发送这种形式的文件,也不需要其他特殊协议,它经常被称作HTTP流式传输。
顺序流式传输比较适合高质量的短片段,如片头、片尾和广告,由于该文件在播放前观看的部分是无损下载的,这种方法保证电影播放的最终质量。
这意味着用户在观看前必须延迟,对较慢的连接尤其如此。
顺序流式文件是放在标准HTTP或FTP服务器上,易于管理,基本上与防火墙无关。
顺序流式传输不适合长片段和有随机访问要求的视频,如讲座、演说与演示。
它也不支持现场广播,严格说来,它是一种点播技术。
4)实时流式传输
实时流式传播指保证媒体信号带宽与网络连接匹配,使媒体可被实时观看。
实时流与HTTP流式传输不同,它需要专用的流媒体服务器与传输协议。
由于实时流式传输总是实时传送,因此特别适合现场事件,也支持随机访问,用户可快进或后退以观看前面或后面的内容。
理论上,实时流一经播放就可以不停止,但实际上可能发生周期暂停。
实时流式传输必须匹配连接带宽,这意味着在以调制解调器速度连接时图像质量较差,而且,由于出错丢失的信息被忽略掉,网络拥挤或出现问题时,视频质量很差。
如欲保证视频质量,顺序流式传输更好。
实时流式传输需要特定服务器,如QuickTimeStreamingServer、RealServer与WindowsMediaServer,它们分别对应了流媒体三巨头,即苹果、RealNetwork和微软。
这些服务器允许对媒体发送进行更多级别的控制,因而系统设置、管理比标准HTTP服务器更复杂。
实时流式传输还需要特殊网络协议,如RSTP(realtimestreamingprotocol)或MMS(MicrosoftMediaServer)。
这些协议在有防火墙时可能会出现问题,导致用户不能看到一些地点的实时内容。
但现在随着各种浏览器与操作系统的升级已经很少发生了。
2.流媒体技术原理
缓冲存储是流式传输实现的基本技术,而流式传输的实现需要合适的传输协议。
下面介绍一种典型的流媒体技术实现,如图1-1所示。
图1-1流媒体工作原理
这是一种简单和常用的流媒体应用形式,实际上是顺序流式传输的过程。
(1)Web浏览器与Web服务器首先建立TCP连接,然后提交HTTP请求消息,要求其传送某个多媒体文件。
(2)Web服务器收到请求后,检索媒体服务器(独立的多媒体服务器,专门用于存储多媒体文件,例如视频节目服务器)的文件系统。
(3)检索成功,服务器向浏览器发送响应消息,把关于该多媒体文件的详细信息返回。
(4)Web浏览器接收到HTTP响应消息之后,检查其中的类型和内容,如果请求被Web服务器批准,则把响应的详细信息传给相应的媒体播放器。
(5)该媒体播放器直接与媒体服务器建立TCP连接,然后向媒体服务器发送HTTP请求消息,请求文件的发送。
(6)在某种传输协议(如实时流协议RTSP)的控制下,媒体服务器把目标多媒体文件以媒体流形式传送到媒体播放器的缓冲池中,双方协调工作,完成流式传播。
3.流媒体播放
为了让多媒体数据在网络中更好的传播,并且可以在客户端精确的回放,人们在传输线路、网络带宽、传输协议、服务器、客户端,甚至是节目本身等各个方面做出了不懈的努力,提出了很多新技术及其应用。
1)单播
单播(unicast)指在客户端与服务器之间建立一个单独的数据通道,从一台服务器送出的每个数据包只能传送给一个客户机。
每个用户必须对媒体服务器发了单独的请求,媒体服务器也必须向每个用户发送巨大的多媒体数据包拷贝,还要保证双方的协调。
这使得服务器负担十分沉重。
响应很慢,难以保证服务质量。
2)点播与广播
点播连接是客户端与服务器之间的主动的连接。
此时用户通过选择内容项目来初始化客户端的连接。
用户可以开始、停止、后退、快进或暂停多媒体数据流。
广播(broadcast)指的是用户被动接收流。
在广播过程中,客户端接收流,但不能像上面那样控制流。
这时,任何数据包的一个单独拷贝将发送给网络上的所有用户,根本不管用户是否需要。
这将造成网络带宽的巨大浪费。
3)多播
多播(multicast)技术对应于组通信技术(groupcommunication),构建一种具有多播能力的网络,允许路由器一次将数据包复制到多个通道上。
这样,单台服务器可以对几十万台客户机同时发送连接数据流而无延时。
媒体服务器只需要发送一个消息包,而不是多个;所有发出请求的客户端共享一个信息包;信息可以发送到任意地址的客户机,减少网络上传输的信息包的总量。
因此网络利用效率大大提高,成本大为下降。
总的说来,组播较上面几种播放方式来说,可以保证网络上多媒体应用占用网络的带宽最小。
4)泛播(anycast)
一种一对多(one-to-one-of-many)发送,但只要其中一个成员收到即可的网络层术语。
5)智能流技术
当前互联网接入方式的多种多样,如ISDN、ADSL、CableModem专线等,每个用户的接入速率会有很大差别。
因此流媒体广播必须提供不同速率下的优化图像,十分困难。
然而智能流技术可以建立在不同类型的编码方式上,对于不同的带宽,提供相应的影音质量,例如微软的MultipleBitRate(多位率编码)和RealNetwork的suresteam技术。
4.流媒体的文件格式
无论是流式的,还是非流式的多媒体文件格式,在传输与播放时都需要压缩,以期得到品质和数据量的基本平衡。
流媒体文件格式的重要特征是:
经过特殊编码,可以适合在网络上边下载边观看。
为此,必须向流媒体文件中加入一些其他的附加信息,例如、计时等。
当前三大巨头都制定了自己的流媒体文件格式,表1-1列出了其中最基本的一些格式。
表1-1流媒体文件格式
公司
文件格式
微软
ASF(AdvancedStreamFormat)
WMV(WindowsMediaVideo)
WMA(WindowsMediaAudio)
RealNetworks
RM(RealVideo)
RA(RealAudio)
RP(RealPix)
RT(RealText)
苹果
MOV(QuickTimeMovie)
QT(QuickTimeMovie)
5.流媒体技术协议
IETF(互联网工程任务组)中的IntegratedServices(综合服务)工作组开发了一个同名的Internet增强服务模型,包括best-effort(尽力传送)服务和real-time(实时传送)服务。
后者就是为了在复杂而且异构的IP网络中传输多媒体数据而提供质量保证,下面4种协议就是它的基础:
实时传输协议RTP、实时传输控制协议RTCP、实时流协议RTSP,以及资源预订协议RSVP。
1.2多媒体技术的研究内容和应用领域
多媒体技术涉及的范围很广,应用的领域也非常广泛,几乎遍布各行各业以及人们生活的各个角落。
本节介绍多媒体技术的研究内容和应用领域。
1.2.1多媒体技术的研究内容
多媒体技术研究内容主要包括感觉媒体的表示技术、数据压缩技术、多媒体数据存储技术、多媒体数据的传输技术、多媒体计算机及外围设备、多媒体系统软件平台等。
尽管多媒体技术涉及的范围很广,但它研究的主要内容可归纳如下。
1.多媒体数据压缩/解压缩算法与标准
在多媒体计算机系统中要表示、传输和处理声音、图像等信息,特别是数字化图像和视频要占用大量的存储空间,因此为了解决存储和传输问题,高效的压缩和解压缩算法是多媒体系统运行的关键。
2.多媒体数据存储技术
高效快速的存储设备是多媒体系统的基本部件之一,光盘系统是目前较好的多媒体数据存储设备,它又分为只读光盘(CD-ROM)、一次写多次读光盘(WORM)、可擦写光盘(writable)。
目前流行的移动设备,“优盘”和移动硬盘,主要用于多媒体数据文件的转移存储。
3.多媒体计算机硬件平台和软件平台
多媒体计算机系统硬件平台一般要有较大的内存和外存(硬盘),并配有光驱、音频卡、视频卡、音像输入输出设备等。
软件平台主要指支持多媒体功能的操作系统,如微软公司的Windows视窗操作系统。
4.多媒体开发和编著工具
为了便于用户编程开发多媒体应用系统,一般在多媒体操作系统之上提供了丰富的多媒体开发工具,有些是对图形、视频、声音等文件进行转换和编辑的工具。
另外,为了方便多媒体节目的开发,多媒体计算机系统还提供了一些直观、可视化的交互式编著工具,如动画制作软件Flash、Director、3DMAX等,多媒体节目编著工具Authorware、ToolBook等。
5.网络多媒体与Web技术
网络多媒体是多媒体技术的一个重要分支,多媒体信息要在网络上存储与传输,需要一些特殊的条件和支持。
此外,超文本和超媒体是一种有效的多媒体信息管理技术,它本质上是采用一种非线性的网状结构组织块状信息。
目前最流行的是运行于Internet的对等式共享文件系统即P2P技术。
6.多媒体数据库与基于内容的检索技术
和传统的数据库相比,多媒体数据库包含着多种数据类型,数据关系更为复杂,需要一种更为有效的管理系统来对多媒体数据库进行管理。
多媒体数据库也是多媒体技术研究的内容之一。
7.多媒体应用和多媒体系统开发
多媒体技术理论研究的最终结果要体现在多媒体应用和多媒体系统开发上,如何选择编程语言,依据什么样的数据模型,都需要研究。
主要包括多媒体CD-ROM节目(title)制作、多媒体数据库、环球超媒体信息系统(Web)、多目标广播技术(multicasting)、影视点播(VideoOnDemand,VOD)、电视会议(VideoConferencing)、虚拟现实(VisualReality)、远程教育系统、教育游戏、动漫、多媒体信息的检索等。
1.2.2多媒体技术的应用领域
随着多媒体技术的不断发展,多媒体技术的应用也越来越广泛。
多媒体技术涉及文字、图形、图像、声音、视频、网络通信等多个领域,多媒体应用系统可以处理的信息种类和数量越来越多,极大地缩短了人与人之间、人与计算机之间的距离,多媒体技术的标准化、集成化以及多媒体软件技术的发展,使信息的接收、处理和传输更加方便快捷。
多媒体技术的应用领域主要有以下5个方面。
1.教育培训领域
目前多媒体技术应用最为广泛的领域之一,它包括计算机辅助教学(computerassitedinstruction,CAI)、光盘制作、公司和地区的多媒体演示、导游及介绍系统等。
现在多媒体制作工具的相关技术已经比较成熟,这方面的发展,主要在实现技术和创意两个方面。
多媒体计算机辅助教学已经在教育
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体技术 基础知识