多媒体技术基础.docx
- 文档编号:29851447
- 上传时间:2023-07-27
- 格式:DOCX
- 页数:25
- 大小:34.45KB
多媒体技术基础.docx
《多媒体技术基础.docx》由会员分享,可在线阅读,更多相关《多媒体技术基础.docx(25页珍藏版)》请在冰豆网上搜索。
多媒体技术基础
多媒体技术基础及应用期末复习指导一、期末复习的主要内容
第1章多媒体计算机概述
1.多媒体计算机的定义和分类
多媒体计算机的定义是:
计算机综合处理多媒体信息(文本、图形、图像、音频和视频使多种信息建立逻辑连接、集成为一个系统并具有交互性的技术。
简单地说:
计算机综合处理声、文、图信息;具有集成性和交互性。
多媒体计算机的分类,从开发和生产厂商以及应用的角度出发可以分为两大类:
一类是家电制造厂商研制的电视计算机(Teleputer,是把CPU放到家电中通过编程控制管理电视机、音响。
有人称它为“灵巧”电视(SmartTV;
另一类是计算机制造厂商研制的计算机电视(Compuvision,采用微处理器(80X86,68XXX作为CPU,其它设备还有VGA卡,CD-ROM,音响设备以及扩展的多媒体家电系统,有人说它的发展方向是TV-Killer。
2.多媒体计算机要解决的关键技术
(1视频音频信息的获取技术;
(2多媒体数据压缩编码和解码技术;
(3视频音频数据的实时处理和特技;
(4视频音频数据的输出技术。
3.多媒体技术促进了通信娱乐和计算机的融合
(1多媒体技术是解决数字化及HDTV的可行方案
应用多媒体技术制造高清晰度电视(HDTV它可以支持任意分辨率的输出,而且输入输出分辨率可以独立,输出分辨率也可以任意地改变。
可以用任意的窗口尺寸输出,同时还具备许多新的功能,如图形功能、视频音频特技以及交互功能。
高清晰度数字电视技术及交互式电视技术由于采用了数字式视频数字式音频及MPEG压缩编码算法以便于数据传输、存储及计算机控制和管理。
国际标准MPEG-Ⅱ,提供了四种工具:
空间可扩展性、时间可扩充性、信噪比可扩充性及数据分块等。
(2利用多媒体技术制作VCD、DVD
及影视音响
应用多媒体计算机技术可制作VCD、
DVD、影视音响卡拉OK机等。
VCD播放
系统主要有两种,一种是MPEG播放卡,另
一种是VCD播放机。
MPEG卡由
Mediamatics公司研制的,这种卡由三块主
要的芯片:
MX501、4Mbit-DRAM和40MHz
OSC。
它由视频音频解码加速器、PCI总线/
主机寄存器组成。
(3个人信息通信中心(PIC
多媒体计算机由于具有录音机、电话
(可视电话、图文传真机、立体声音设备、
电视机和录音像机等多种功能。
通过联网在
网上传输多种信息,因此,有人称它为个人
信息通信中心(PIC。
第2章音频信息的获取与处理
1.数字音频的基本概念
(1模拟音频与数字音频技术
声音是一种机械振动,振动越强,声音
就越大。
例如话筒把机械振动转换成电信
号,这是一种模拟的音频,它是以模拟电压
的幅度表示声音的强弱。
数字音频技术是把表示声音强弱的模
拟电压用数字表示,如0.5V电压用数字20
表示,2V电压用80表示。
模拟电压的幅度,
即使在某电平范围内,也可以取无穷多个,
如1.2V、1.21V、1.215V……。
而用数字来
表示音频幅度时,只能把无穷多个电压幅度
用有限个数字表示。
把某一幅度范围的电压
用一个数字表示,这叫做量化。
数字音频是通过采样量化把模拟量表
示的音频信号转换成许多二制数1和0组成
数字音频文件。
(2数字音频的文件格式与转换
多媒体技术中常用的声音文件格式有:
⑴WAV文件
WAV是Microsoft公司的音频文件格
式。
Microsoftsoundsystem软件SoundFinder
可以转换AIF,SND和VOC文件到WAV
格式。
其中AIF是Apple计算机的音频文件
格式;SND是另一种计算机的波形音频文件
格式;
⑵VOC文件
VOC文件是Creative公司波形音频文件格式。
利用声霸卡提供的软件可实现VOC和WAV文件的转换。
程序VOC2WAV转换Creative的VOC文件到Microsoft的WAV文件。
程序WAV2VOC转换Microsoft的WAV文件到Creative的VOC文件。
⑶MIDI文件
MIDI文件是(MusicalInstrumentDigitalInterface乐器数字接口的缩写。
RMI是Microsoft公司的MIDI文件格式。
2.音频卡的功能及工作原理
(1音频卡的功能
音频卡的功能有以下几个主要方面:
音频录放、编辑、音乐合成、文语转换、CD-ROM接口、MIDI接口、游戏接口等。
●音频录放
①数字化音频采样频率范围:
5kHz~44.1kHz;量化位:
8位/16位;通道数:
立体声/单声道。
②编码与压缩:
基本编码方法有PCM(脉冲编码调制;
压缩编码方法有ADPCM(8:
4;8:
3;8:
2;16:
4;
CCITTA律(13:
8
CCITTμ律(14:
8
实时硬件压缩/软件压缩。
③音频录放的自动动态滤波。
④录音声源:
麦克风、立体声线路输入、CD。
●编辑与音乐合成
编辑与合成就像一部数字音频编辑器,它可以对声音文件进行各种特殊的处理:
如倒播、增加回音效果、静噪音、往返放音、交换声道等。
音乐合成功能和性能主要是依赖于合成芯片。
(2音频卡的工作原理
1
音频卡的工作原理框图主要由以下几个部分组成:
●声音的合成与处理
这是音频卡的核心部分,它由数字声音处理器、调频(FM音乐合成器及乐器数字接口(MIDI控制器组成。
这部分的主要任务是完成声波信号的模/数(A/D和数/模(D/A转换,利用调频技术控制声音的音调、音色和幅度等。
●混合信号处理器
混合信号处理器内置数字/模拟混音器,混音器的声源由以下几种信号如MIDI信号、CD音频、线路输入、麦克风等。
可以选择一个声源或几个不同的声源进行混合录音。
●功率放大器
由于混合信号处理器输出的信号功率还不够大不能推动扬声器或音箱,所以一般都有一个功率放大器作为功率放大使得输出的音频信号有足够的功率。
●总线接口和控制器
总线接口有多种,早期的音频卡为ISA总线接口,现在的音频卡一般是PCI总线接口。
总线接口和控制器是由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑及直接存储器访问(DMA控制逻辑组成。
第3章视频信息的获取与处理
1.彩色空间表示及其转换
⑴RGB彩色空间
在多媒体计算机中常用红、绿、蓝(RGB彩色空间表示,由于计算机彩色监视器的输入需要红、绿、蓝(RGB三个彩色分量,通过RGB三个分量的不同比例的组合,在显示器屏幕上可得到任意的颜色。
在多媒体系统中不管采用什么形式的彩色空间表示,但最后要求输出的是转换成RGB彩色空间表示。
⑵YUV和YIQ彩色空间
现代的彩色电视系统中,一般采用摄像机把摄到的彩色图像信号,经过分色棱镜分成R0、G0、B0三个分量的信号,经过放大和校正后得到RGB信号,再经过矩阵变换电路得到亮度信号Y和色差信号R-Y、B-Y,
最后发送端将Y、R-Y及B-Y三个信号进行
编码,用同一信道经过高频功率放大,通过
天线发送出去。
这种信号就是常用的YUV
彩色空间表示。
由于这种彩色空间的亮度信
号Y解决了彩色电视与黑白电视的兼容问
题,而且实验表明人眼对彩色图像细节的分
辨能力比对黑白低得多,因此可以对色度信
号U、V采用“大面积着色原理”用亮度信号
Y传送细节而用色差信号U、V进行大面积
涂色。
采用YIQ彩色空间表示的好处是人
眼的彩色视觉特性表明,人眼分辨红、•黄
之间颜色变化的能力最强,而分辨蓝与紫之
间颜色变化的能力最弱。
(3RGB与YUV和YIQ之间的转换
彩色摄像机得到的信号是经过γ校正的
RGB信号。
考虑到和黑白电视机兼容及压缩
编码,在传送过程中包含亮度信号和色差信
号,则亮度方程可简化为:
Y=0.3R+0.59G
+0.11B。
从这个公式可看到,采用三基色
显示彩色时,各基色组成亮度Y的比例关系
是不变的,这些比例系数也叫做“可见度系
数”它们的和为1。
这表示当基色信号电压
ER、EG、EB各为1V时,构成的亮度信号
Eγ也为1V。
在三个色差信号中B-Y、R-Y、G-Y,
其中有两个是独立的,最后一个可用亮度方
程和两个色差信号通过运算得到。
考虑到彩
色与黑白的兼容问题和减少幅度失真问题,
则必须对彩色信号进行压缩,具体方法是让
色差信号乘上一个小于1的压缩系数。
经过
运算整理得YUV与RGB之间的关系表达
式。
2.黑白全电视信号和彩色全电视信号
(1黑白全电视信号
全电视信号主要由图像信号、复合消隐
信号(包括行消隐信号、场消隐信号和复
合同步信号(包括行同步信号、场同步信号
三部分组成。
(2彩色全电视信号
①彩色全电视信号与黑白电视的
兼容问题
在彩色电视系统中,通常用Y、U、V
彩色空间或Y、I、Q彩色空间,Y为亮度信号,它可以和黑白全电视信号兼容。
为了实现兼容,彩色电视信号必须满足以下几个要求:
(a保留黑白电视信号原有的各项标准。
如:
每帧625行、隔行扫描、帧频为25Hz、场频为50Hz、行频为15625Hz、以及同步方式、频带宽度等。
(b彩色电视信号中应包含有一个代表图像的亮度信号(称为亮度信号,这个信号中彩色接收机和黑白接收机中均能重现黑白图像。
(c彩色电视图像信号中还应包含有代表图像颜色的信号(称为色度信号和色同步信号。
②彩色全电视信号的组成
彩色全电视信号是由色度信号F、亮度信号Y(或用B表示、复合消隐信号A(包括行消隐和场消隐信号、复合同步信号S(包括行同步和场同步信号等迭加在一起组成的,通常可用符号FBAS来表示。
在我国消隐电平规定为零电平,因此,在彩色全电视信号中实际上并没有迭加特定的消隐信号。
另外,为了接收机解调色度信号的需要,在彩色全电视信号中还应包括色同步信号,这是由位于行同步后肩,具有十个周期左右的副载波组成。
(3视频信息和获取技术
①利用计算机产生彩色图形,静态图像和动态图像。
②利用彩色扫描仪,扫描输入彩色图形和静态图像。
③利用视频信号数字化仪,将彩色全电视信号经数字化处理后,输入到多媒体计算机中,获得静态和动态图像。
3.视频采集卡的组成
⑴模数(A/D变换和数字解码⑵窗口控制器
⑶帧存储器系统
⑷数模(D/A转换和矩阵变换⑸视频信号和VGA信号的叠加
⑹数字式多制式视频信号编码
4.视频卡的工作原理
视频卡的工作原理(参考教材上视频卡的工作原理框图可概述为:
视频信号源、摄像机、录像机或激光视盘的信号首先经过模数(A/D变换,送到多制式数字解码
2
器进行解码得到Y、U、V信号,然后由视频窗口控制器对其进行剪裁,改变比例后存入帧存储器。
帧存储器的内容在窗口控制下,与VGA同步信号或视频编码器的同步信号同步,再送到数模(D/A变换器模拟彩色空间变换矩阵,同时送到数字式视频编辑器进行视频编码,最后输出到VGA监视器及电视机或录像机。
第4章多媒体数据压缩编码技术1、多媒体数据压缩的重要性和分类(1为什么要进行数据压缩
多媒体信息包括了文本、数据、声音、动画、图形、图像以及视频等多种媒体信息。
虽然经过数字化处理后其数据量是非常大的,如果不进行数据压缩处理,计算机系统就无法对它进行存储和交换。
另一个原因是图像、音频和视频这些媒体具有很大的压缩潜力。
因为在多媒体数据中,存在着空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余等。
它们为数据压缩技术的应用提供了可能的条件。
因此在多媒体系统中必须采用数据压缩技术,它是多媒体技术中一项十分关键的技术。
(2数据压缩方法的分类
常用的压缩编码方法可以分为两大类,一类是无损压缩法;另一类是有损压缩法。
常用的数据压缩方法按其原理分类也可分为:
预测编码、变换编码、量化与矢量量化编码、信息熵编码、分频带编码、结构编码和基于知识的编码。
2.量化的基本原理
(1量化的概念和原理
量化的作用是在图像质量或声音质量达到一定保真度的前提下,舍弃那些对视觉或听觉影响不大的信息。
量化的过程是模拟信号到数字信号的映射。
模拟量是连续量,而数字量是离散量,因此量化操作实质上是用有限的离散量代替无限的连续模拟量的多对一的映射操作。
量化概念主要来自于从模拟量到数字量的转换,即A/D转换,也就是通过采样把连续的模拟量离散化。
量化过程预先设置一组判决电平和一组重建电平,各个判决电平
覆盖一定的区间,所有判决电平将覆盖整个
有效取值区间。
量化时将模拟量的取样值同
这些电平比较,若采样值幅度落在覆盖区间
之上,则取这个量化级的代表值,称为码字。
一个量化器只能取有限多个量化级,因此量
化过程不可避免地存在量化误差。
3.常用的压缩编码
(1统计编码
(2预测编码
(3变换编码
4.多媒体数据压缩编码的国际标准
(1静态图像压缩编码标准JPEG
1986年CCITT和ISO两个国际标准化
组织联合成立了一个联合图像专家组JPEG
(JointPhotographicExpertsGroup,致力于
建立适合彩色和单色灰度级的连续色调静
止图像的压缩标准。
(2运动图像压缩编码标准MPEG
MPEG标准是ISO/IEC委员会的第
11172号标准,是针对全活动视频的压缩标
准。
该标准包括MPEG视频、MPEG音频和
MPEG系统三大部分。
MPEG视频是面向位
速率约1.5Mbit/s全屏幕运动图像的数据压
缩;MPEG音频是面向每通道数率为64,128
和192kbit/s的数字音频信号的压缩。
MPGE输入图像亮度信号的分辨率为
360×240,色度信号的分辨率为180×120,
每29.97帧,采用双向运动补偿。
MPEG把
输入的视频信号分成组,用三种图像格式标
出:
帧内图像、预测图像和差补图像。
每组
中的第一帧用帧内图像格式编码,第1M、
2M、3M帧(M一般选为3用预测图像格
式编码,其它各帧使用差补图像格式编码。
差补图像不仅利用过去的帧内图像或预测
图像,也利用未来的帧内图像或预测图像进
行运动补偿,因此可以达到更高的图像压缩
率。
●MPEG-I标准
MPEG-I标准是运动图像专家小组
1981年制订的数字存储运动图像及伴音编
码标准。
该标准分为视频、音频和系统三部
分。
它是一个通用标准,即考虑了应用要求,
又独立于具体应用之上。
视频部分为
1.5Mbit/s活动图像压缩编码算法,对于带宽为1.5Mbit/s的位流,能够获得可接受的图像质量。
该算法帧内编码采用二维余弦变换、自适应量化、行程编码、变字长编码和DPCM技术,帧间编码采用运动补偿预测和运动补偿内插技术。
MPEG-I对于较低的传输速率、窄带宽的应用(如单速CD-ROM是相当完善的,并通过插值可处理大于352×240的画面。
●MPEG-II标准
MPEG-II是MPEG-I的扩充,丰富和完善。
MPEG-II标准的视频数据速率为4-5Mbit/s,能提供720×480(NTSC或720×576(PAL分辨率的广播级质量的视像,适用于包括宽屏幕和高清晰度电视(HDTV在内的高质量电视和广播。
5.理解信息熵的概念
信源X发出的xj(j=1,2,…n,共n个随机事件的自信息统计平均(求数学期望,即H(X=E{I(xj}
=
j
n
jj
PxIx=
∑⋅1
((=
(
log
(
1
j
j
n
j
x
P
x
P
α
⋅
-∑
=
H(X在信息论中称为信源X的“熵”(Entropy,它的含义是信源X发出任意一个随机变量的平均信息量。
例如:
信源X中有16个随机事件,即n=16。
每一个随机事件的概率都相等,即P(x1=P(x2=P(x3=…=P(x16=
1
16,计算信源X的熵。
那么,X的熵为:
HXbitsj
(lo
=-
=
∑
1
16
2
1
16
1
16
4
=
6.理解哈夫曼编码方法
哈夫曼编码方法的步骤是:
①概率统计(如对一幅图像,或m幅同种类型图像作灰度信号统计,得到n个不同概率的信息符号。
②将n个信源信息符号的n个概率,
3
按概率大小排序。
③将n个概率中,最后两个小概率相加,这时概率个数减为n-1个。
④将n-1个概率,按大小重新排序。
⑤重复③,将新排序后的最后两个小概率再相加,相加和与其余概率再排序。
⑥如此反复重复n-2次,得到只剩两个概率序列。
⑦以二进制码元(0,1赋值,构成霍夫曼码字。
编码结束。
在理解上述步骤的基础上,学会给已知的信源编码。
第5章多媒体计算机硬件及软件系统结构1.多媒体个人计算机MPC的技术标准
MPC联盟规定多媒体计算机包括五个部件:
个人计算机(PC、只读光盘驱动器(CD-ROM、声卡、Windows操作系统和一组音箱或耳机等组成。
并对CPU、存储器容量和屏幕显示功能等给出了最低要求的功能标准。
目前已有三个MPC标准,MPC1、MPC2、MPC3,有关具体的标准配置参考书上的内容。
2.MPC的升级方法和原则
获得MPC的途径有两种:
一种是直接购买MPC机,另一种是购买多媒体升级套件,使原有的普通PC机升级为MPC。
3.数字视频交互式多媒体计算机系统
DVI,DigitalVideoInteractive,数字视频交互式多媒体计算机系统。
DVI(DigitalVideoInteractive,是Intel公司推出的支持对多媒体信息进行处理及表现的一个集成环境。
该产品采用了PLV(ProductLevelVideo视频压缩编码算法;设计了两个专用芯片(82750PB像素处理器及82750DB显示处理器;设计制造了三块门阵电路:
82750LH主机接口门阵、82750LVVRAM/SCSI/capture接口门阵、82750LA音频子系统接口门阵;首次设计了视频音频引擎(AVE-AudioVideoEngine;开发了多媒体计算机软件系统:
AVSS(AudioVideoSub-System和
AVK(AudioVideoKernel。
DVI系统主要在以下几个方面取得了
实质性的突破:
(1一种全数字化的方法
(2视频压缩
(3声音压缩
(4合成图形
DVI-II型比DVI-I型主要的改进主要有
以下几点:
①性能指标高
②使用了三个专用的门阵列电路
③将多块处理板集成为一块处理板
第6章超文本和超媒体
1.超文本和超媒体的主要特性
(1超文本的数据库是由文本、声音、
图形、图像类节点组成的网络。
(2屏幕的窗口和数据中的节点是一
一对应的,每个节点都有名字或
标题在窗口显示。
(3容易地创建节点、连接新的节点
的链。
(4用户可对数据库进行浏览和查
询。
(5超文本为作者提供一种新的写作
方式。
(6超文本为读者提供了阅读大型信
息库的方法。
(7具有窗口化的管理功能。
(8可通过网络共享数据库。
(9具有交互式的操作。
2.超文本和超媒体的两个基本模型
(1Campbell和Goodman模型
(2Dexter模型
第7章多媒体计算机的应用技术
1.电了出版物主要的创作流程
多媒体电子出版物一般要经过以下
过程:
选题、编写脚本、准备媒体数据、系
统制作、调试、测试、优化、产品生产和发
行等几个阶段。
2.视频会议系统的分类
视频会议系统根据通讯节点数量
分成两类:
①点对点视频会议系统
②多点视频会议系统
3.视频会议系统的组成以及各部分的主要功能。
①视频会议终端;视频会议终端的主要功能是:
完成视频音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码,最后将符合国际标准的压缩码流经线路接口送到信道,或从信道上将标准压缩码流经线路接口送到终端。
②多端控制单元(MCU;多端控制单元的主要功能是:
对视频、语音及数据信号进行切换,例如它把传送到MCU某会场发言者的图像信号切换到所有会场。
③信道(网络;信道(网络的主要功能是:
保证视频音频数据压缩码流安全在信道上传输到视频会议系统的终端。
④控制管理软件;控制管理软件主要是视频会议系统的标准,其中最著名的标准是H.320系列和T.120系列建议。
H系列的建议和标准是专门针对交互式电视会议业务而制定的,而T系列是针对其他媒体的管理功能做出规定,两种协议的结合将使多媒体会议系统的通信有更完善的依据。
H.320系列标准包括了视频、音视的压缩和解压缩,静止图像,多点会议,加密及一些改进的特性。
T.120是国际电信联盟通信标准部开发的系列国际标准,此标准是为多媒体会议系统中发送数据而制定的。
二、期末综合练习及解答
(一单项选择题(从提供的四个答案中选择一个正确的答案,并将其编号填入括号中
1.Commodore公司于1985年在世界上推出的第一个多媒体计算机系统是(c。
A、Macintosh
B、DVI
C、Amiga
D、CD-I
2.下列哪些不是多媒体系统的核心软件(c。
4
A、AVSS
B、AVK
C、DOS
D、AmigaVision
3.国际标准MPEG-II采用了分层的编码体系,提供了四种技术,它们是(d。
A、空间可扩展性;信噪比可扩充性;框架技术;等级技术
B、时间可扩充性;空间可扩展性;硬件扩展技术;软件扩展技术
C
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体技术 基础