第二讲 多媒体技术.docx
- 文档编号:23070319
- 上传时间:2023-04-30
- 格式:DOCX
- 页数:20
- 大小:59.17KB
第二讲 多媒体技术.docx
《第二讲 多媒体技术.docx》由会员分享,可在线阅读,更多相关《第二讲 多媒体技术.docx(20页珍藏版)》请在冰豆网上搜索。
第二讲多媒体技术
第一篇多媒体技术教育应用
第二讲多媒体技术介绍
2.1多媒体技术
在计算机发展的初期,人们只能用数值这种媒体承载信息。
当时只能通过0和1两种符号表示信息,即用纸带和卡片的有孔和无孔表示信息,纸带机和卡片机是主要的输入输出设备。
0和1很不直观,很不方便,输入输出的内容很难理解,而且容易出错,出错时也不容易发现。
这一时代是使用机器语言的时代,因此计算机应用只能限于极少数计算机专业人员。
50年代到70年代,出现了高级程序设计语言,开始用文字作为信息的载体,人们可以用文字(如英文)编写源程序,输入计算机,计算机处理的结果也可以用文字表示输出。
这样,人与计算机交往就直观、容易得多,计算机的应用也就扩大到具有一般文化程度的科技人员。
这时的输入输出设备主要是打字机、键盘和显示终端。
使用英文文字同计算机交往,对于文化水平较低,特别是非英语国家,仍然是件困难的事情。
80年代开始,人们致力于研究将声音、图形和图像作为新的信息媒体输入输出计算机,这将使计算机的应用更为直观、容易。
1984年Apple公司的Macintosh个人计算机,首先引进了"位映射"的图形机理,用户接口开始使用Mouse驱动的窗口技术和图符(WindowsandIcon),受到广大用户的欢迎。
这使得文化水平较低的公众,包括儿童在内都能使用计算机。
由于Apple采取发展多媒体技术、扩大用户层的方针,使得它在个人计算机市场上成为唯一能同IBM公司相抗衡的力量。
今天,国际上下述几项技术又有了突出的进展。
·超大规模集成电路的密度增加了;
·超大规模集成电路的速度增加了;
·CD-ROM可作为低成本、大容量只读存储器,每片容量为650MB以及每片单面DVD容量为4.7GB;
·双通道VRAM的引进;
·网络技术的广泛使用。
这五项计算机基本技术的进展,有效地带动了数字视频压缩算法和视频处理器结构的改进,促使十年前单色文本/图形子系统转变成今天的彩色丰富、高清晰度显示子系统,同时能够做到全屏幕、全运动的视频图像,高清晰度的静态图像,视频特技,三维实时的全电视信号以及高速真彩色图形。
同时还有高保真度的音响信息。
综上所述,无论从半导体的发展还是从计算机进步的角度,或者从普及计算机应用、拓宽计算机处理信息类型看,利用多媒体是计算机技术发展的必然趋势。
2.1.1媒体与多媒体
一、媒体
承载信息的载体,在计算机信息领域中泛指一切信息载体,通常有两种含义:
一是指存储信息的实体,如磁盘、光盘、磁带、半导体存储器等存储媒体;
二是指传递信息的载体,如数字、文字、声音、图形和图像等信息媒体。
按照国际电联(ITU)的定义,媒体有五类
⑴感觉媒体(PerceptionMedium):
指直接作用于人的感觉器官,使人产生直接感觉的媒体,如引起听觉反应的声音,引起视觉反应的图像等。
⑵表示媒体(representationMedium):
指传输感觉媒体的中介媒体,即用于数据交换的编码,如图像编码(JPEG、MPEG等)、字符编码(ASCII码、GB2312等)和声音编码等。
⑶表现媒体(PresentationMedium):
指进行信息输入和输出的媒体,如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体;显示器、打印机、喇叭等为输出媒体。
⑷存储媒体(StorageMedium):
指用于存储表示媒体的物理介质,如硬盘、软盘、磁盘、光盘、ROM及RAM等。
⑸传输媒体(TransmissionMedium):
指传输表示媒体的物理介质,如电缆、光缆等。
二、多媒体技术
多媒体计算机中的媒体,是指信息的表现形式,即计算机不仅能处理文字、数值之类的信息,而且还能处理声音、图形、电视图像等各种不同形式的信息。
多媒体的英文“Multimedia”,就是多种媒体的意思,它包容了我们所见过的报刊、画册、广播、电影等,并具有特有的功能——交互性。
多媒体技术(MultimediaComputing)的定义是:
计算机综合处理多种媒体信息:
文本、图形、图像、音频和视频,使多种信息建立逻辑连接,集成为一个系统并具有交互性。
简单地说:
·计算机综合处理声、文、图信息;
·具有集成性和交互性。
·总之,多媒体计算机具有信息载体多样性、集成性和交互性。
三、多媒体的基本技术
·视频音频信号获取技术;
·多媒体数据压缩编码和解码技术;
·视频音频数据的实时处理和特技;
·视频音频数据的输出技术。
多媒体技术主要提供多种文字信息(文字、数字、数据库等)和多种图像信息(图形、图像、视频、动画等)的输入、输出、传输、存储和处理。
1.输入:
将各种信息送入到计算机中,通过扫描、键入、录音、采集等,随着虚拟现实技术的发展,甚至包括动作;
2.输出:
将各种信息通过各种显示技术(液晶显示、多媒体交互显示、多媒体投影、打印等)呈现出来;
3.传输与存储:
将信息发送、接收和保存,涉及到通讯、流媒体、数据压缩等技术,使多媒体信息拥有了各种各样不同的格式;
4.处理:
通过各种处理软件对信息进行编辑加工。
四、多媒体的分类
2.1.2多媒体的关键特性
1.集成性
多媒体技术能够对信息进行多通道统一获取、存储、组织与合成,将多种不同的媒体信息有机地进行同步组合为一个完整的多媒体信息,同时可以把不同的输入显示媒体或输出显示媒体集成在一起,形成一个整体,例如在多媒体课件制作中就是把不同的媒体集成起来,并使它们之间建立一定的关系。
2.交互性
交互性是多媒体技术的关键特征,传统信息交流媒体只能单向地、被动地传播信息,而多媒体技术则可以实现人对信息的主动选择和控制,使用者可以借助这种交谈式的沟通来帮助学习、思考,同时也延长了信息的保留时间,增加了对信息的注意力和理解力,最终达到增进知识及解决问题的目的。
3.实时性
多媒体信息中的声音、视频、动画等媒体是与时间密切相关的,这要求多媒体系统在处理信息时要有严格的时序要求和很高的速度要求。
在网络上,这一问题会更加突出,对系统结构、媒体同步、多媒体操作系统及应用服务等都提出相应的实时化要求。
4.非线性
以往人们读写方式大都采用章、节、目的传统方式,循序渐进地获取知识,多媒体技术的非线性特点将改变人们循序性的读写模式,借助超文本链接(HyperTextLink)的方法,把内容以一种更灵活、更具变化的方式呈现给读者。
5.多样性
信息载体的多样性是相对于计算机而言的,指的就是信息媒体的多样化。
2.1.3多媒体技术的形成和发展
是社会需求和社会推动的结果,是计算机技术不断成熟和扩展的结果。
多媒体技术最早由美国Apple公司开发,1984年Apple公司推出的Macintosh计算机引入了位映射的概念(Bitmap)来进行图形处理工作,用户接口开始使用鼠标驱动的窗口(Windows)和图标(Icon)技术,使Macintosh计算机成为用户使用方便的能同时处理多种信息媒体的计算机。
1985年,Commodore公司推出了世界上第一个多媒体系统:
Amiga500。
1986年3月,Philips公司和Sony公司联合推出了交互式压缩光盘系统CD-I(CompactDiscInteractive)。
该系统把各种信息媒体以数字化的形式存放在存储容量为650MB的只读光盘上,用户可以通过读取光盘上的数字化内容来进行播放。
1987年3月,RCA公司推出了交互式数字视频系统DVI(DigitalVideoInteractive)。
Intel公司于1988年把DVI买下,经过进一步的研究和改善,于1989年初把DVI技术开发成了一种可以普及的商品,后来又与IBM合作,联合推出了新一代的多媒体技术产品ActionMedia750,DVI正式成为一个普及性商品化的产品投放市场。
为促进多媒体技术向产业化发展,1990年11月,由Microsoft公司会同多家厂商召开了多媒体开发者会议,制定了多媒体计算机(MPC:
MultimediaPersonalComputer)标准MPC1的规格,并成立了多媒体计算机市场协会(MultimediaPCMarketingCouncilInc)。
1993年5月多媒体计算机市场协会发布了第二个多媒体个人计算机标准MPC2。
1995年6月已更名为MPC工作组(TheMultimediaPCcomputerWorkingGroup)的多媒体计算机市场协会又公布了第三个多媒体个人计算机标准MPC3。
1992年,Microsoft公司推出的Windows3.1提供了一系列支持多媒体技术的驱动程序、动态链接库以及OLE技术,提供了Windows的多媒体应用编程接口(MAPI:
MediaApplicationProgramInterface)、媒体控制接口MCI(MediacontrolInterface)和乐器数字化接口MIDI,使得Windows3.1成为了事实上的多媒体操作系统。
1995年8月,Microsoft公司推出Windows95操作系统。
1998年8月,Microsoft公司在Windows95的基础上又推出了Windows98操作系统,Windows98性能稳定、操作更简便、多媒体功能更强。
2.1.4多媒体技术的意义
·使计算机可以处理人类生活中最直接、最普遍的信息,从而使得计算机应用领域及功能得到了极大的扩展;
·使计算机系统的人机交互界面和手段更加友好和方便,非专业人员可以方便地使用和操作计算机;
·多媒体技术使音像技术、计算机技术和通信技术三大信息处理技术紧密地结合起来,为信息处理技术发展奠定了新的基石。
(1)多媒体技术是解决数字化及hdtv的可行方案
应用多媒体技术制造高清晰度电视(hdtv)它可以支持任意分辩率的输出,而且输入输出分辩率可以独立,输出分辩率也可以任意地改变。
可以用任意的窗口尺寸输出,同时还具备许多新的功能,如图形功能、视频音频特技以及交互功能。
高清晰度数字电视技术及交互式电视技术由于采用了数字式视频数字式音频及mpeg压缩编码算法以便于数据传输、存储及计算机控制和管理。
国际标准mpeg-Ⅱ,提供了四种工具:
空间可扩展性、时间可扩充性、信噪比可扩充性及数据分块等。
(2)利用多媒体技术制作vcd、dvd及影视音响
应用多媒体计算机技术可制作vcd、dvd影视音响卡拉ok机等。
vcd播放系统主要有两种,一种是mpeg播放卡另一种是vcd播放机。
mpeg卡由mediamatics公司研制的,这种卡由三块主要的芯片:
mx501、4mbitdram和40mhzosc。
它由视频音频解码加速器、pci总线/主机寄存器组成。
(3)个人信息通信中心(pic)
多媒体计算机由于具有录音机、电话(可视电话)、图文传真机、立体声音响备、电视机和录音像机等多种功能。
通过联网在网上传输多种信息,因此,有人称它为个人信息通信中心(pic)。
2.2多媒体计算机系统
2.2.1多媒体计算机MPC
一、多媒体个人计算机mpc的技术标准
在各种多媒体系统中,多媒体个人计算机(MPC)的应用是最为普及的,对教育、培训和娱乐的影响也最直接和深刻。
随着网络技术的迅速发展和普及,多媒体计算机将与电话、电视、图文传真等通信类消费电子产品融为一体,将形成新一代的多媒体产品。
mpc联盟规定多媒体计算机包括五个部件:
个人计算机(pc)、只读光盘驱动器(cd-rom)、声卡、windows操作系统和一组音箱或耳机等组成。
并对cpu、存储器容量和屏幕显示功能等给出了最低要求的功能标准。
作为多媒体计算机,首先要具有计算机的常规配置,即CPU、主板、硬盘、软驱、显示器、鼠标、键盘等,其次还要具有声卡、视频卡、图像加速卡、光驱、调制解调器、输入设备、+输出设备等多媒体设备,如图所示。
多媒体计算机的基本构成
输入设备包括各种多媒体素材的采集设备,如数码相机、扫描仪、MIDI设备、摄影机、录音机、网络接入设备等。
输出设备除常规配置显示器外,还有打印机、音箱等。
目前已有三个mpc标准,mpc1、mpc2、mpc3,有关具体的标准配置参考书上的内容。
2.2.2多媒体系统的组成
多媒体系统的层次结构
用户
多媒体应用软件
多媒体开发工具
多媒体操作系统
多媒体驱动软件
多媒体硬件设备
1.多媒体硬件设备
多媒体系统的最底层是多媒体硬件,多媒体硬件的核心是计算机。
为显示高质量的图像,应配置高质量的显示器和显卡;为演播音频信号,需要配置声卡;为演播视频信号,还需要配备视频扩展卡;为实现信息共享和多媒体通信功能,多媒体系统还应配备网络接口。
2.多媒体驱动程序
多媒体驱动程序是直接用于控制和管理多媒体硬件的软件,用于实现对设备初始化,设备的启动、停止以及控制设备的各种动作。
3.多媒体操作系统
在多媒体驱动软件之上是多媒体操作系统,其功能是对多媒体环境下的各个任务进行管理和调度;支持多媒体应用软件的运行,对多媒体声像及其他信息进行控制和实时处理。
4.多媒体开发工具
在操作系统的上层就是多媒体开发工具。
进行多媒体开发时,需要丰富的创作工具来支持各类媒体对象的创作与合成,包括多媒体素材制作工具和多媒体编辑工具,还包括功能更为强大也更为复杂的高级语言,用于完成更高一级的多媒体应用。
5.多媒体应用软件
多媒体应用软件是直接面向最终用户的,是利用高级编程语言或多媒体开发工具开发制作的最终的多媒体产品,如声像俱全的百科全书或交互式电影游戏等。
2.2.3多媒体系统的分类
一、基于功能的分类
⑴开发系统
如:
多媒体课件制作系统、视频编辑系统
⑵演示系统
如:
多媒体教室
⑶培训系统
⑷家庭系统
二、基于应用的分类
⑴多媒体信息咨询系统
⑵多媒体管理系统
⑶多媒体辅助教育系统
⑷多媒体通信系统
⑸多媒体娱乐系统
三、多媒体技术的应用
1.办公室自动化
2.电子出版物
3.多媒体通信
4.教育与培训
5.多媒体作品设计
多媒体作品按用途可分为分类:
娱乐类多媒体作品
资料类多媒体作品
广告类多媒体作品
教育类多媒体作品
2.3多媒体技术的研究领域
多媒体技术涉及的内容
多媒体数据压缩:
多模态转换、压缩编码;
多媒体处理:
音频信息处理,如音乐合成、语音识别、文字与语音相互转换;图像处理,虚拟现实;
多媒体数据存储:
多媒体数据库;
多媒体数据检索:
基于内容的图像检索,视频检索;
多媒体著作工具:
多媒体同步、超媒体和超文本;
多媒体通信与分布式多媒体:
CSCW、会议系统、VOD和系统设计;
多媒体专用设备技术:
多媒体专用芯片技术,多媒体专用输入输出技术;
多媒体应用技术:
CAI与远程教学,GIS与数字地球、多媒体远程监控等。
2.3.1数据编码
一、原因
多媒体数据的压缩及编码技术是多媒体系统的关键技术。
多媒体系统中数字化的声音和图像数据量非常大,例如:
一幅中等分辨率(640×480像素点)的真彩色(24位)图像的数据量为约为每帧1M。
为了使视频画面活动保持连续,则必须至少以每秒25帧的速度播放。
这样,一秒种的活动视频画面约占25MB,一分钟的活动视频图像约为1.5GB。
一张CD-ROM光盘仅能存储播放20多秒种的数据量。
因此对多媒体信息进行压缩和解压缩是十分必要的。
二、可行性
在多媒体原始信息源数据中存在着大量的冗余。
例如一幅图像中的很多部分都有着同一颜色,又如一段影像或动画,相邻帧的图像变化很小,这中间存在着重复的数据,这些冗余的数据量,就是可以进行压缩的对象;同时由于人类的视觉、听觉器官具有某种不敏感性,如人眼对边缘剧变不敏感,以及对亮度信息敏感而对颜色分辨力不敏感,可对某些原非冗余的信息进行压缩,从而大幅地提高压缩比。
三、应用范围
(1)多媒体数据压缩编码、图像和视频编码研究,以及图像的边缘检测、图像分割、模式识别、图像融合、摄像机标定等更偏重图像处理和计算机视觉方面的研究。
(2)电子出版业的迅猛发展和网络传输的普及,使得大量的多媒体数据可以被方便、高效地进行复制和传输。
但是,侵权行为也相应严重起来,在数字图像、视音频以及文本数据中引入“数字水印”被认为是解决这一问题的有效技术,近年来发展很快。
(3)“虚拟现实”技术继续保持着较大的研究团体、较广的应用领域和较快的发展速度,相关研究包括场景建模、3维模型重建、虚拟仿真、高级动画、增强现实等方面。
2.3.2数据的组织与管理
一、超文本
随着多媒体技术与互联网络技术的发展,信息组织与管理的超文本化成为信息传递的基本形式。
超文本组织信息的方式与人类的联想记忆方式有相似之处,可以更有效地表达和处理信息,因此在多媒体教学中获得广泛应用。
超文本是一种新型的信息管理技术,它以节点为单位组织信息,在节点与节点之间通过表示它们之间关系的链加以连接,构成表达特定内容的信息网络。
超文本的节点结构图
超文本基本构成元素为节点(Node)、链(Link)和网络(Network)。
节点是把文本按其固有的独立性和相关性划分成不同的基本信息块,如卷、文件或更小的信息单位。
链是从一个节点指向其他节点或从其他节点指向该节点的指针。
通常链的个数是不固定的,它与每个节点的内容相关。
超文本实际上就是由节点和链组成的一个网络,是用链把节点连成网状结构。
超文本可以被定义为由信息节点间相关性的链构成的一个具有一定逻辑结构和语义的网络。
基于超文本信息管理技术的系统称为超文本系统。
为了突出与强调多媒体在超文本中的应用,人们提出了超媒体的概念,即“超媒体=多媒体+超文本”。
这两个词在本质上是一样的,很难对二者加以区分,因此常常交替使用。
二、多媒体数据管理的应用范围
(1)“多媒体网页”类将多媒体网页作为重点关注对象,包括对用户浏览行为的统计分析,网页用户视图的设计和网页数据的抽取、分类以及整理等。
(2)“多媒体数据库”类中主要是关于多媒体数据库索引、一致性等方面的文章。
(3)“多媒体数据检索”类主要包括针对图像、视频以及3维模型的标注、分类、检索的研究,以及跨媒体检索的研究。
2.3.3多媒体信息交互与网络多媒体
一、多媒体信息的类型
1.文本(Text)
文本是以文字和各种专用符号表达的信息形式。
用文本表达信息给人充分的想象空间,它主要用于对知识的描述性表示,如阐述概念、定义、原理和问题以及显示标题、菜单等内容。
2.图像(Image)
图像是决定一个多媒体软件视觉效果的关键因素。
图像主要用于表示真实图片图像和包含复杂细节的绘画等。
它的特点是显示速度快,但占用存储空间较大。
3图形(Graphic)
图形是生活中图像的形象再现,它通过一组指令集来描述构成一幅图景的所有点、线、框、圆、弧、面等几何元素的位置、维数、大小和色彩的二维或三维的图形形状,它的特点是占用空间小,但显示时需要进行运算,其显示速度取决于计算机的速度。
4.声音(Sound)
声音是人们用来传递信息、交流感情最方便、最熟悉的方式之一,分为讲解、音乐、效果三类。
5.影像(Video)
视频影像具有时序性与丰富的信息内涵,常用于交待事物的发展过程。
视频非常类似于我们熟知的电影和电视,有声有色,在多媒体中充当起重要的角色。
6.动画(Animation)
动画指连续运动变化的图形图像、活页、连环图画等,也包括画面的缩放、旋转、变换、淡出/淡入等特殊效果。
使用得当的动画成分可以增强多媒体节目的视觉效果,起到强调主题、添加趣味的作用。
二、多媒体交互
多模态人机交互主要基于对采集到的多媒体数据的处理和理解来增强用户交互过程自然性。
(1)交互模式与接口的研究是近年来兴起的研究热点,主要包括交互界面的概念框架以及规则推理、新型交互接口(如笔式输入、手势交互)、说话人跟踪、姿态识别、表情识别、多模态数据融合和手写体字符的识别等。
(2)“生物特征身份识别”选取了与人脸识别、指纹识别、虹膜识别、掌纹识别、眉毛识别、3维鼻形识别、人耳识别、平面赤足迹识别和说话人识别方面。
三、网络多媒体的研究范围
(1)“QoS控制”主要研究互联网、无线通信网、Web集群、Adhoc网络等各种网络上传输多媒体数据所进行的服务质量控制方法,包括QoS路由算法、流量识别、服务选择、服务定价、资源动态分配等。
(2)“多播”的主要研究内容是多播系统(包括IP组播和P2P系统等)的拓扑构建、结构管理、数据调度、路由协议、信任模型等。
(3)实时传输控制包括端到端可用带宽测量和调整、拥塞控制、码率控制以及TCP性能改善等技术的研究。
(4)“流媒体”是关于多媒体数据的流化技术,包括流媒体服务器的设计、实现、性能仿真、服务质量评估,流媒体播放终端的设计、实现,多媒体内容的存储、管理、映射、调度、分发、内容保护以及VoIP性能研究等。
(5)“CSCW(计算机支持的协同工作)”主要包括支持群体协同工作的理论、技术和方法,典型的应用系统有协同编著、协同设计、多媒体会议、工作流等。
2.3.4多媒体通信与分布处理
现代化社会人的工作方式的特点是具有群体性、交互性、分布性及协作性。
传统的电讯业务电话,传真等通信方式已不能适应社会的需要,为了提供更具有人性化的交流环境,把通信手段从语音为主转向视频为主是一个很自然的要求。
一、多媒体通信
多媒体通信可以分成两类:
一类是对称的全双工的多媒体通信,如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统;另一类是非对称全双工的多媒体通信系统,如交互式电视系统(ITV)、点播电视系统(VOD)、远程教育系统、远程医疗诊断系统及远程图书馆。
二、多媒体通信标准
对于多媒体通信要解决两个关键技术:
多媒体数据压缩和高速数据通信问题。
尤其是实用化效果较好,应用比较广泛的视频会议系统要解决视频会议系统的国际标准问题。
标准化是产业化成功的前提,这样用户可以把不同厂家的不同产品连接在一起,彼此间相互通信。
ITU-T(国际通信联盟标准化委员会)制定的H.320协议标准是ISDN视频会议市场占主导地位的标准,现在ITU-T委员会正在把这套标准扩大到包括多点呼叫标准(T.120)、计算机图形标准以及摸拟电路视频会议适用的低速率电路标准(H.324)。
Intel公司与150个计算机和通信公司成立一个个人会议工作小组(PCWG),于1994年制定了一个个人会议标准(PCS-PersonalConferencingSpecification),其目的是保证基于文本的会议可以在各种操作系统、硬件平台和传输媒体中互操作。
视频会议系统可分为两类:
点对点视频会议系统和多点视频会议系统。
点对点视频会议系统有:
可视电话、台式机-台式机视频会议及会议室-会议室视频会议。
多点视频会议系统,允许三个或三个以下不同地点的参加者一起参加讨论,多点会议系统的关键技术是多点控制器(MCU),它能自动地交换数据,把正确音频和视频信号发送给每个与会者,多点控制器可以被放置在视频会议网络的任何一个点上,它通过编码和解码器接收所有的数字信号,并自动地把数据发送到合适的地点。
多媒体技术应用到通信上,将把电话、电视、图文传真、音响、卡拉OK机、摄像机等电子产品与计算机融为一体,建立全新的多媒体信息中心。
以多媒体技术为基础的视像会议将成为未来商务界乃至其他业务通信联络的标准手段。
远程医疗会诊、远程交换信息,就如同在一起交谈和协作开展研究一样。
在军事通信中利用多媒体技术可以使现场信息及时、准确地传给指挥所,同时指挥所也能根据现场情况正确地判断形势,将信息反馈回去实施实时控制与指挥,这就是现代战争在技术保障上所强调的3CI(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二讲 多媒体技术 第二