多媒体计算机硬件与软件系统结构doc 34页优质版.docx
- 文档编号:14438179
- 上传时间:2023-04-23
- 格式:DOCX
- 页数:65
- 大小:60.89KB
多媒体计算机硬件与软件系统结构doc 34页优质版.docx
《多媒体计算机硬件与软件系统结构doc 34页优质版.docx》由会员分享,可在线阅读,更多相关《多媒体计算机硬件与软件系统结构doc 34页优质版.docx(65页珍藏版)》请在冰豆网上搜索。
多媒体计算机硬件与软件系统结构doc34页优质版
第1章 多媒体技术基本概念
多媒体技术是计算机技术发展的一个趋势,它的出现极大地改善了人类的信息交流方式,因此,理解和掌握多媒体技术是现代人生活必需的内容。
1.1 多媒体的定义
媒体
●所谓媒体(medius)就是人与人之间为达到交流的目的所利用的介质
●媒体是指人们用于存储和传递各种信息的载体
●媒体是信息表示和传输的载体
文字、数据、声音、图形、图像等都属于媒体。
媒体分类
●感觉媒体(Perceptionmedium)
感觉媒体指的是能直接作用于人们的感觉器官,从而能使人产生直接感觉的媒体。
如文字、数据、声音、图形、图像等。
在多媒体计算机技术中,我们所说的媒体一般指的是感觉媒体。
●表示媒体(Representationmedium)
表示媒体指的是为了传输感觉媒体而人为研究出来的媒体,借助于此种媒体,能有效地存储感觉媒体或将感觉媒体从一个地方传送到另一个地方。
如语言编码、电报码、条形码等。
●显示媒体(Presentationmedium)
显示媒体指的是用于通信中使电信号和感觉媒体之间产生转换用的媒体。
如输入、输出设备,包括键盘、鼠标器、显示器、打印机等。
●存储媒体(Storagemedium)
存储媒体指的是用于存放表示媒体的媒体。
如纸张、磁带、磁盘、光盘等。
●传输媒体(Transmissionmedium)
传输媒体指的用于传输某种媒体的物理媒体。
如双绞线、电缆、光纤等。
多媒体
“多媒体(Multimedia)”实际是“多媒体技术”的同义词,在这里,“多媒体技术”又是指“多媒体计算机技术(MultimediaComputerTechnology)”。
●多媒体计算机技术的定义:
计算机综合处理多种媒体信息,使多种信息建立逻辑连接,集成为一个系统并具有交互性。
多媒体计算机技术的主要特性
●多样性
●集成性
●交互性
1.2 多媒体的分类
●家电制造厂商研制的电视计算机(Teleputer)
●计算机制造厂商研制的计算机电视(Compuvision)
1.3 多媒体计算机的基本技术和关键技术
1.3.1 视频和音频数据压缩和解压缩技术
多媒体数据压缩及编码技术是多媒体系统的关键技术。
数字化的声音和图像数据量非常大,例如,一分钟的声音信号约为:
660KB~10MB;一幅800*600的真彩色图像约为1.4MB;一秒钟全活动视频画面约为22MB。
在未压缩的情况下,实现动态视频及立体声的实时处理,对目前的微机来说是无法实现的。
因此,必须对多媒体信息进行实时压缩和解压缩。
数据压缩技术与多媒体技术的发展是相辅相成的。
研究结果表明,选用合适的数据压缩技术,有可能将原始文字量数据压缩到原来的1/2左右,语音数据量压缩到原来的1/2~1/10,图像数据量压缩到原来的1/2~1/60。
对声音数据的压缩一般采用去掉重复代码和去掉声音数据中的无声音信号序列两种方法。
对静止图像压缩广泛采用JPEG算法标准。
由于用计算机的中央处理器CPU来完成JPEG算法花费的时间太长,所以都是用专门的JPEG算法信号处理器来完成运算。
对视频图像压缩算法有MPEG、DVI、H.261算法。
这些算法是由相应的算法信号处理器来完成的。
在波形编码理论之后,近几年提出的小波变换等技术正在受到学术界的重视。
人闪还在继续寻找更加有效的压缩算法及其用硬件或者软件实现的方法。
1.3.2 超大规模集成(VLSI)电路制造技术
进行声音和视频图像信息的压缩处理要求进行大量的和实时的计算,这样的处理,如果由通用计算机来完成,需要用高档计算机才能胜任。
由于VLSI技术的进步使得生产低廉的数字信号处理器(DSP)芯片成为可能。
DSP芯片是为完成某种特定信号处理设计的,在通用计算机上需要多条指令才能完成的处理,在DSP上可用一条指令完成。
可以说,VLSI技术为多媒体技术的普遍应用创造了必要的条件。
1.3.3 大容量的光盘存储器
数字化的媒体信息虽然经过压缩处理,仍然包含了大量的数据。
大容量只读光盘存储器(CD-ROM)的出现,正好适应了这样的需要。
CD-ROM有尺寸小、存储量大、易携带、价格低等优点。
DVD盘的尺寸与CD相同,但其存储容量比现在的CD盘大得多,最高可达到17GB。
1.3.4 多媒体同步技术
多媒体技术需要同时处理声音、文字、图像等多种媒体信息,在多媒体系统所处理的信息中,各个媒体都与时间有着或多或少的依从关系。
系统中各媒体在不同的通信路径上传输,将分别产生不同的延迟和损耗,造成媒体之间协同性的破坏,因此,媒体同步也是一个关键问题。
多媒体系统中有一个核心系统(即多媒体操作系统)就是为了解决声音、图像、文字等多媒体信息的综合处理,解决多媒体信息的时空同步问题。
1.3.5 多媒体网络和通信技术
多媒体通信技术包含语音压缩、图像压缩及多媒体的混合传输技术。
为了用一根电话线同时传输语音、图像、文字等信号,必须要用复杂的多路混合传输技术,而且要采用特殊的约定来完成。
要充分发挥多媒体技术对多媒体信息的处理能力,必须与网络技术相结合。
特别是在电视会议、医疗会诊等某些特殊情况下,要求许多人共同对多媒体数据进行操作时,网络就能带来更大的方便。
1.3.6 多媒体计算机硬件体系结构的关键是专用芯片
多媒体计算机需要快速、实时完成视频和音频信息的压缩和解压缩,图像的特技效果(如改变比例、淡入淡出等)图形处理(图形的生成和绘制等),语音信息处理(抑制噪声、滤波等)。
要圆满地完成上述任务,一定要采用专用的芯片。
多媒体计算机专用芯片可归纳为两种类型:
固定功能的芯片;可编程的芯片。
1.3.7 多媒体计算机系统软件的核心是AVSS或AVK
为了支持计算机对声、文、图多媒体信息的处理,特别是要解决多媒体信息的时、空同步问题,研制多媒体核心软件是又一关键技术。
Commodore公司为Amiga系统研制的Amiga操作系统,以及著作语言AmigaVision,Philips/Sony公司为CD-I系统研制的CD-RTOS(CD实时操作系统),Intel/IBM公司为DVI系统研制的AVSS以及AVK,都是多媒体计算机系统已解决和正在解决的关键技术的实例。
1.3.8 超文本与超媒体技术
超文本(Hypertext)是一种新颖的文本信息管理技术,是一种典型的数据库技术。
它是一个非线性的结构,以结点为单位组织信息,在结点与结点之间通过表示它们之间关系的链加以连接,构成表达特定内容的信息网络,用户可以有选择地查阅自己感兴趣的文本。
若这种表达信息方式不仅是文本,还包括图像、声音等形式则称为超媒体(Hypermedia)系统。
1.4 多媒体的应用
目前,多媒体的应用已遍及社会生活的各个领域,如教育应用(教学模拟和演示、视听教材、少儿故事、自然科学、音乐、语文等)、电子出版(多媒体百科全书、电子图书、字典类等)、旅游与地图、家庭应用(家用游戏机、交互式电视、医药娱乐等)、商业(员工培训、商品介绍、查询服务等)、新闻出版、电视会议、广告宣传等。
随着社会信息化步伐的加快,多媒体的发展和应用前景将更加广阔。
多媒体的引进对计算机硬件和软件的发展有着深远的影响,多媒体专用芯片,多媒体操作系统、多媒体数据库管理系统、多媒体通信系统等都得到很大的发展。
1.5 多媒体的发展
多媒体技术的发展历程:
●1984年美国Apple公司推出被认为是代表多媒体技术兴起的Machintosh系列机。
●1985年美国Commodore公司的Amiga计算机问世,成为多媒体技术先驱产品之一。
●1986年3月飞利浦和索尼两家公司宣布发明了交互式光盘系统(CD-I),这是集文字、图像和声音于一体的多媒体系统。
●1987年3月,美国RCA公司的萨诺夫研究实验室展示了交互式数字影像系统(DVI),这是以PC技术为基础,用标准光盘来存储和检索活动影像、静止图像、声音和其他数据。
多媒体技术发展的特点:
●多学科交汇
●顺应信息时代的需求
●促进和带动新产来的形成和发展
●多领域应用
多媒体计算机的发展趋势:
●计算机支持的协同工作环境
●增加计算机的智能
●把多媒体和通信技术融合到CPU芯片中
多媒体技术的发展方向:
●高分辩化,提高显示质量
●高速度化,缩短处理时间
●简单化,便于操作
●高维化,三维、四维或更高维
●智能化,提高信息识别能力
●标准化,便于信息交换和资源共享
多媒体个人计算机(MPC)标准:
1990年10提出MPC1.0;1993年提出MPC2.0;1995年6月提出MPC3.0。
练习题:
1、媒体中的()指的是能直接作用于人们的感觉器官,从而能使人产生直接感觉的媒体。
A感觉媒体 B表示媒体 C显示媒体 D存储媒体
2、多媒体技术的主要特性有:
(1)多样性、
(2)集成性、(3)交互性、(4)实时性
A仅
(1) B
(1)、
(2) C
(1)、
(2)、(3)D全部
3、下列哪种说法不正确?
A有格式的数据才能表达信息的含义
B不同的媒体所表达信息的程序不同
C媒体之间的关系也代表着信息
D任何媒体之间都可以直接进行相互转换
4、一般认为,多媒体技术研究的兴起,从()开始。
A1972年,Philips展示播放电视节目的激光视盘
B1984年,美国Apple公司推出Macintosh系列机
C1986年,Philips和Sony公司宣布发明了交互式光盘系统CD-I
D1987年,美国RCA公司展示了交互式数字影像系统DVI
5、媒体中的()指的是为了传送感觉媒体而人为研究出来的媒体。
借助于此种媒体,便能更有效地存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。
A感觉媒体 B表示媒体 C显示媒体 D存储媒体
6、请根据多媒体的特性判断以下哪些属于多媒体的范畴?
(1)交互式视频游戏、
(2)有声图书、(3)彩色画报、(4)彩色电视
A仅
(1) B
(1)、
(2) C
(1)、
(2)、(3)D全部
7、下列哪些媒体属于感觉媒体?
(1)语音、
(2)图像、(3)语音编码、(4)文本
A
(1)、
(2) B
(1)、(3)
C
(1)、
(2)、(4) D
(2)、(3)、(4)
8、目前的研究表明,选用合适的数据压缩技术,可将语音数据量压缩到原来的()。
A1/2 B1/2~1/10 C1/2~1/20 D1/2~1/40
9、下列哪些不是多媒体核心软件?
(1)AVSS、
(2)AVK、(3)DOS、(4)AmigaVision
A(3) B(4) C(3)、(4) D
(1)、(3)
10、1985年,美国Commodore公司的()是多媒体技术的先驱产品之一。
AMacintosh BCD-I CAmiga DDVI
11、1987年展示的()用标准光盘来存储和检索活动影像、静止图像、声音和其他数据。
ACD-I BMPC CCD-ROM DDVI
12、下列哪些是多媒体技术的发展方向?
(1)高分辩率,提高显示质量、
(2)高速度化,缩短处理时间、(3)简单化,便于操作、(4)智能化,提高信息识别能力
A
(1)、
(2)、(3) B
(1)、
(2)、(4)
C
(1)、(3)、(4) D全部
13、下列哪些特征不是多媒体技术的主要特性:
(1)实时性、
(2)多样性、(3)集成性、(4)交互性
A仅
(1) B
(1)、
(2) C
(1)、
(2)、(3)D全部
14、媒体中的()指的是用于通信中使电信号和感觉媒体之间产生转换用的媒体。
A感觉媒体 B表示媒体 C显示媒体 D存储媒体
15、下列哪些是多媒体计算机的发展趋势?
(1)CSCW、
(2)文字识别和输入、(3)自然语言理解和机器翻译、(4)机器人视觉和计算机视觉
A
(1)、
(2)、(3) B
(1)、
(2)、(4)C
(1)、(3)、(4)D全部
第2章 音频、视频信息获取和处理
2.1 声音卡和音频信息
声音是一种波,它有两个基本参数:
频率和幅度。
凡是通过声音形式传递的信息媒体,都属于听觉媒体,主要包括波形声音、语音和音乐。
现在公认的声音质量分为四级:
●数字激光唱盘(CD-DA)质量:
10Hz~20000Hz
●调频无线电广播(FM)质量:
20Hz~15000Hz
●调幅无线电广播(AM)质量:
50Hz~7000Hz
●电话质量:
200Hz~3400Hz
在多媒体计算机中只有经过数字化后的声音才能播放与处理。
音频数字化主要涉及到音频信号的采样、量化和编码。
声音卡正是完成音频数字化处理的主要多媒体计算机硬件设备。
多媒体涉及到以下几个方面的音频处理技术:
●音频采集
●文语转换
●声音编码/解码
●语音识别
●音乐合成
好的声音卡中应包含音频处理技术范围内的各类电路作为其芯片。
声音卡的种类很多,新加坡CreativeLabs公司的声霸卡(SoundBlaster)系列(见图)只是其中最典型的一种。
2.1.1 声音卡的功能和分类
处理音频信号的PC插卡是音频卡(AudioCard),又称声音卡,声音卡处理的音频媒体有数字化声音(WAVE)、合成音乐(MIDI)、CD音频。
声音卡通常带有自己的CPU,具有较高的智能性和灵活性。
声音卡的分类
声音卡的分类主要是根据其采样量化的位数来确定的,通常分为8位、16位和32位声卡。
声音卡的主要功能
●录制、编辑和回放数字声音文件
●控制、混合各声源的音量
●在录制和回放数字声音文件时执行压缩/解压缩
●采用语音合成技术让电脑朗读英文文本
●具有MIDI接口,支持通用MIDI
●具备内部FM合成器或波表合成器
●具备CD-ROM驱动器接口(IDE或SCSI)
●支持至少一种主要的声卡软件标准(Adlib,SoundBlasterPro,MicrosoftSoundSystem,RolandMPU401和MT32等)
●支持全双工功能,即能同时录音和放音,该功能主要用于可视电话和会议系统
2.1.2 声音卡的组成
声音卡的组成以及与其他设备的连接方式如图所示。
声音卡的主要组成:
●线性输入(LineIn)插孔
●麦克风(MIC)输入插孔
●线性输出(LineOut)或扬声器(Speaker)输出插孔
●15芯D型连接器
●音量调节旋钮
●CD-ROM接口
●CD-ROM音频信号接口
●跳接器:
跳接器的功能是用来选择声音卡的硬件设置,包括CD-ROM型号、CD-ROM的I/O地址、声音卡的I/O地址、游戏口开/关选择、声音卡的IRQ(中断请求号)和DMA(直接存贮访问)通道等,以保证声音卡与系统其他设备不冲突。
2.1.3 声音卡软件的安装、测试及问题的处理
●检查声音卡的缺省设置与系统已占资源是否冲突
声音卡安装时需要设置几个参数,如I/O地址、IRQ,DMA等,大部分声音卡在出厂前这些参数已设为缺省值。
●安装声音卡硬件
●安装声音卡的设备驱动程序
●安装声音卡应用软件
●测试声音卡
2.1.4 声音卡的选择及应用
声音卡的基本技术指标
●采样频率
●量化位数
●声道数
●内部声音混合调节器
●合成器
常用的合成方法有:
波表查询(WaveTable)和频率调制(FM)。
●MIDI接口
●DSP芯片
DSP(DataSignalProcessor,数字信号处理器)芯片是一种可编程芯片,用来处理FM声音合成,特殊效果和音频文件的压缩与解压缩等工作。
●信噪比和总谐波失真
●I/O设备的支持
●全双工功能
●ASP功能
●三维音效
●系统参数可调性
●即插即用
●兼容性
声音卡的软件标准有:
Adlib、SoundBlaster、MicrosoftSound、RolandMPU401和MT32五大标准。
2.1.5 音乐合成和MIDI
MIDI(MusicalInstrumentDigitalInterface)是指乐器数字接口,是数字音乐的国际标准。
任何电子乐器,只要有处理MIDI消息的微处理器,并有合适的硬件接口,都可以成为一个MIDI设备。
音序器捕捉MIDI消息并将其存入MIDI文件中,而合成器依据要求将声音按所要求的音色、音调等合成出来。
衡量声卡的音乐合成器的性能好坏的主要参数:
●音色数目
●发音数
●音乐的兼容性
2.2 视频卡和视频信息处理
●模拟视频
●数字视频
●视频数字化:
在一段时间内以一定的速度对视频信号进行捕获并加以采样后形成数字化数据的处理过程。
影像视频(又称数字视频、数字电影),简称视频,由一幅幅帧序列组成,这些帧以一定的速率播放,使观察者得到连续运动的感觉。
模拟视频成本低、还原度好;数字视频长时间保存质量不降低、可以进行创造性编辑。
●全屏幕视频
●全运动视频
视频在处理过程中与电视技术有非常密切的关系。
电视主要有三大制式,即NTSC、PAL、SECAM。
NTSC是1953年美国研制成功的一种兼容彩电制式,主要在美国、日本、台湾等地区使用,此制式规定:
每秒30帧视频画面,水平扫描线为525条,水平分辨率为240~400个像素点,采用隔行扫描方式,场频为60Hz,行频为15634Hz。
PAL是1962年在西德诞生,主要在中国及欧洲大多数地区使用,此制式规定:
每秒25帧,每帧625行,每行240~400个像素点,隔行扫描方式,场频为50Hz,行频为15625Hz。
SECAM是由法国人提出,主要在法国、俄罗斯、非洲地区使用,此制式规定:
每秒25帧,每帧625行,每行625个像素点,场频为50Hz,行频为15625Hz。
●视频信号的采集:
将视频信号经硬件(视频捕捉卡)数字化后,再将数字化数据加以存储。
动态视频对于颜色空间的表示有多种情况,最常见的是R,G,B三维彩色空间。
也还有其他彩色空间表示,如Y,U,V(Y为亮度,U,V为色差),H,S,I(色调,饱和度,强度)等,并且还可以通过坐标变换而相互变换。
2.2.1 视频卡的功能和种类
视频卡是基于PC机的一种多媒体视频信号处理平台,它可以汇集视频源、声频源和激光视盘机(LaserVideoDiscPlayer)、录像机(VCR)、摄像机(Camera)等的信息,经过编辑或特技处理而产生非常漂亮的画面,这些画面可以被捕捉、数字化、冻结、存储、输出及进行其他的操作。
对画面的修正、像素显示调整、缩放功能等都是视频卡支持的标准功能。
1、视频卡的分类
●视频捕捉卡(VideoCaptureCard)
将视频信号连续转换成计算机存储的数字信号保存在计算机中或在VGA显示器上显示。
又称为视频采集卡
●视频压缩卡(JPEG/MPEGCompressionCard)
能够实时完成压缩的视频捕捉卡。
价格较高
●视频播放卡
实现将压缩保存在计算机中的视频信号在计算机的显示器上播放出来。
又称为电影回放卡、MPEG解压缩卡
●电视卡
将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示。
这类卡也称为TV-VGA卡或电视调谐卡(TVTurner),与下面的TV编码器又合称为电视转换卡(VideoConversionCard)。
●TV编码器(TVCoder)
将计算机的VGA信号转换为NTSC、PAL、SECAM等标准的信号在电视上播放或进行录像,这类卡也称为PC-TV卡、VGA-TV卡等。
2、视频卡的主要功能和特征
视频卡的主要功能
●全活动数字图像的显示、抓取、录制,支持MicrosoftVideoForWindows
●可以从VCR、摄像机、ID、IV等视频源中抓取定格,存储输出图像
●近似真彩色YUV格式图像缓冲区,并可将缓冲区映射到高端内存
●可按比例缩放、剪切、移动、扫描视频图像
●色度、饱和度、亮度、对比度及R、G、B三色比例可调
●可用软件选端口地址和IRQ
●具有若干个可用软件相互切换的视频输入源,以其中一个做活动显示
视频卡的特性
●视频输入源:
可通过软件从3个复合视频信号输入口中选择视频源,支持NTSC,PAL和SECAM制式
●窗口和叠加:
窗口可定位,可将VGA图形和视频叠加
●屏蔽:
色键控制、亮度和彩色信号屏蔽
●图像获取:
支持JPEG,PCX,TIFF,BMP,MMP,GIF及TARGA文件格式,640*480分辩率,支持二百万种真色彩
●图像处理:
活动及静止图像比例缩放,视频图像的定格、存取及载入,图像的剪辑和改变尺寸,色调、饱和度、亮度和对比度的控制
2.2.2 视频卡的安装和使用
●检查视频卡的缺省设置与系统已占用资源是否冲突
●安装视频卡硬件
●安装视频卡的设备驱动程序
●安装视频卡应用软件
●测试视频卡
2.2.3 3DP-V264GT/PRO卡介绍
略
2.2.4 视频信息的处理
1、视频处理系统简介
在多媒体计算机系统中,对视频信号的应用大致可分为三个过程:
视频信息的采集、视频信息的编辑以及视频信息的应用。
视频信号的捕获:
在多媒体计算机中借助于视频采集卡将模拟视频信号转换成数字视频信号,同时对转换后的数字视频信息进行压缩处理,并将压缩后的数据保存在内存中或直接存储到磁盘中,以便进一步对其进行处理与应用
视频信息的编辑:
在多媒体个人计算机系统中,对视频媒体信息的编辑处理可借助普通编辑软件来完成。
常用的视频编辑软件主要有:
●VideoForWindows
●QuickTime
●AdobePremiere
●AsymetrixDVP
视频信息的应用
在多媒体系统中应用视频图像信息可以为系统起到增辉添色的作用。
从视频回放的功能上划分可分为三类:
●全屏幕实时信号源的播放
●全屏幕全数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体计算机硬件与软件系统结构doc 34页优质版 多媒体 计算机硬件 软件 系统 结构 doc 34 优质