多媒体技术应用知识点总结详Word文档下载推荐.docx

多媒体技术应用知识点总结详Word文档下载推荐.docx

《多媒体技术应用知识点总结详Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《多媒体技术应用知识点总结详Word文档下载推荐.docx（24页珍藏版）》请在冰豆网上搜索。

H）多媒体技术在通信系统中的应用

2、简述多媒体所涉及的核心问题有哪些？

A）多媒体信号数字化与计算机获取技术

B）多媒体数据压缩编码和解码技术

C）多媒体数据的实时处理和特效效果技术

D）多媒体数据的输出与回放技术

1）媒体的分类：

感知媒体：

（PerceptionMedium）

是指人们的感受器官所能感受到的信息的自然种类。

（语言，音乐，图像，图形，计算机内数据等）

表达媒体：

（RepresentationMedium）

为了加工处理和传输感知媒体而通过人工研究、构造出来的媒体。

（语音编码、图像编码、文本编码等形式来描述）

呈现媒体：

（PresentationMedium）

呈现信息或者获得信息的物理设备。

（显示器，扬声器，键盘，鼠标）

存储媒体：

（StroageMedium）

存储表达媒体数据（感知媒体数字化后的代码）的物理设备（光盘，磁盘，磁带）

传输媒体：

（TransmissionMedium）

媒体传输用的一类物理载体，（同轴电缆，光缆，双绞线，无线电链路）

交换媒体：

（ExchangeMedium）

在系统之间交换数据的方法（它们可以是存储媒体、传输媒体或者两者的结合使用）

2）感知媒体是在多媒体应用中呈现给用户的媒体元素，

包括：

文本，图形，图像，视频，音频，动画。

3）多媒体（Multimedia）是：

计算机综合处理文本、图形、图像、音频、视频等多媒体信息，是多种信息建立逻辑连接，集成为一个系统并具有交互性和实时性的崭新技术。

4）多媒体技术的基本特征：

多样性、集成性、交互性、实时性、非线性。

多样性：

信息媒体多样性

集成性：

以计算机为中心综合处理多种信息的媒体

交互性：

用户可以与计算机的多种信息媒体进行交互操作，从而为用户提供跟多有效的控制和使用信息的手段。

实时性：

实时处理能力

非线性。

（最显著的特点是具有多样性、集成性和交互性）

多媒体办公系统：

是视听一体化的办公信息处理和通信系统。

第二章数字音频处理

本章习题（P40）

判断

1、A/D转换是吧模拟信号转换为数字信号的过程

2、PCM编码是对连续语音信号进行空间采样、幅度量化及用适当码字将其编码的总成。

3、语音识别单元有单词（句）、音节和音素三种

略

选择

1、第一个实用的有所音频压缩编码技术是：

MP3文件格式

2、差分脉冲编码调制算法主要基于语音波形预测，他力图使重建的语音波形保持原有的波形状态。

差分脉冲编码调制算法的中心思想是对信号的差分而不是对信号本身进行编码。

填空

1、声音三要素：

A）音色、B）音调、C）音量。

2、信噪比：

有用信号的平均功率与噪声的平均功率之比。

3、量化分为：

A）均匀量化B）非均匀量化

4、衡量数字音频的主要制表包括：

A）采样频率B）量化位数C）声道数

5、PCM方法按量化方式的不同可以分为：

A）均匀量化PCMB）非均匀量化PCMC）自适应量化PCM

6、汉语TTS系统有3个主要组成部分：

A）文本分析模块B）韵律分析模块C）语音生成模块

简答

1、什么是音频信号?

决定音频信号波形的参数有哪些？

音频信号是一个模拟信号，模拟信号在时间和幅度上都是连续的，幅度微小的变化会殷琦声音质量的改变。

决定音频信号波形的参数：

音高、响度、音量。

2、什么是采样？

根据Nyquist理论，若原有声音信号的频率为20HZ，则采样频率应为多少？

采样是在某些特定的时刻对模拟信号进行取值。

采样频率=最高频率*2.3

3、什么是量化？

若一个数字声音的量化位数为16为，则能够表示的声音幅度等级为多少？

量化是将每个采样值在幅度上进行离散化处理的过程

2的16次方

4、选择采样频率为44.1KHZ，量化位数为16为的录音参数，在不采用压缩技术的情况下，计算录制1min的立体声需要多少Mb存储空间？

（计算）

*5、音频信号能进行压缩的依据是什么？

*6、MPEG-1的层1、2、3编码分别使用了听觉系统的什么特性？

其个编码起的声音输出速率范围分别是多少？

a）简谐振动在空间传递时形成的波动———简谐波

b）人耳能是些的声音频率范围大约是20~20KHZ，通常称为音频（audio）信号。

c）音频信号所携带的信息大体上可分为

语音、音乐、音效。

d）音乐是规范的符号化了的声音。

次声：

20HZ以下可听声：

20~20KHZ超声：

20KHZ以上

e）声音三要素：

音调、音强、音色==（音高、音量、音品）。

f）声音是通过空气传播的一种连续的波，叫做声波。

g）声音可以认为是各种频率的正弦波的叠加。

h）几种音频业务的频带宽度：

电话：

200~3.4KHZ

CD-DA：

10~22KHZ

i）采样（sampling）：

在某些特定时刻对模拟信号进行取值。

把时间上的连续信号编程时间上的离散信号，采样频率越高波形失真越少，数据量越大。

采样步骤：

1-在实践上的离散处理2-取出相应的数值

j）奈奎斯特（Nyquist）定理：

只有采样频率高于声音信号最高频率两倍时，才能把数字信号表示的声音还原为原来的声音。

（实际上为了防止频谱混跌Fs>

=2.1~2.5*Fm）

k）量化：

将每个采样值在幅度上进行离散化处理的过程称为量化。

均匀量化：

把将采集后的信号按整个声波的幅度等间隔分成有限个区段，把落入某个区段内的样值贵为一类，并赋予相同的量化值。

（例如：

量化位数为8时，可以分成2的8次方个量化等级）

l）数字音频的技术指标：

1、采样频率

2、量化位数

3、声道个数

m）数据传输速率（Bit/s）=采样频率（HZ）*量化位数（Bit）*声道数

n）存储容量（字节）=采样频率*量化位数*声道数*时间/8

o）Wav（waveformAudio）波形音频文件：

通常用来保存一些没有压缩的音频文件（数据量大）

一般来说，声音质量与其WAV格式的文件大小成正比。

Mp3文件数据量较小

Midi文件数据量更小

音频压缩分为：

无损压缩和有损压缩。

p）音频编码技术主要可以分为3类：

波形编码、参数编码、混合编码。

q）常用的音频编码压缩算法：

1、增量调制（掌握方法）DM

2、自适应增量调制ADM

3、脉冲编码调制PCM

4、差分脉冲编码调制（重点掌握方法）DPCM

5、自适应差分脉冲编码调制ADPCM

i.DPCM流程：

Fn原始值*Fn预测值~Fn重构值

1、生成*Fn=（~Fn-1+~Fn-2）/2

2、计算误差En=Fn-*Fn

3、En量化为~En

4、重建~Fn=*Fn+~EN

例题：

F1

F2

F3

F4

F5

Fn

130

150

140

200

230

*Fn

142

144

167

En

20

-2

56

63

~En

24

-8

~Fn

154

134

223

r）音频数据标准：

1、电话传输系统中PCM（ITUG.711）、ADPCM（ITUG.721）等，可满足电话级的语音质量要求

2、在窄带综合服务数据网传送中：

G。

722

3、在电视传输系统、视频点播系统中：

MPEG音频标准

s）MIDI（MusicalInstrumentDigitalInterface）乐器数字接口。

泛指数字音频的国际标准。

它记录的不是音频数据而是演奏音乐的指令，不同的指令对应不同的乐器。

通常用来记录纯音乐。

MIDI合成分为两种合成方式：

FM合成和波形表合成（P32理解）

t）TTS（TesttoSpeech）语文转换：

是将文本形式的信息转换成自然语言的一种技术，最终目的是力图使计算机能够以清晰自然的声音，以各种各样的语言升值以各种各样的情绪来朗读任意的文本。

TTS系统的三大主要组成部分：

文本分析模块，韵律分析模块，语音生成模块。

u）语音识别单元有：

单词、音节、音素。

v）信号去噪

w）信号噪声来源：

1、录音环境噪声

2、电磁干扰

3、A/D转换时的量化噪声

分类：

根据信号与噪声关系，加性和乘性噪声

根据噪声的分布

1、高斯噪声

2、柏松噪声

3、白噪声

x）去噪：

1、均值滤波

2、中值滤波

3、零延拓

4、对称延拓

5、周期延拓

第三章视觉信息处理

本章习题

1、第一代视频编码方法主要有预测编码、变换编码和机遇快的混合编码等。

2、组播是适用于电视会议等应用的一种传输方式，服务器将连续的数据包同时发送给多个用户，多个用户共享同一信息

3、采样是对空间坐标的离散化，他决定了图像的空间分辨率。

4、显示分辨率是确定屏幕上显示图像区域的大小

5、图像深度是指位图中记录每个像素点所占的位数，他决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。

1、当显示深度为24位，图像深度为8位时，屏幕上可以显示按该图像的调色板选取的1024钟颜色。

2、一幅640*480，真彩色的图像，其文件大小约为1MB

3、一路PAL制式的数字电视（DTV）的信息速率高达216MB/s，1GB容量的存储器大约存储10s的数字电视。

1、颜色的3个特性：

色调、饱和度、明度

（ps他们是颜色所固有的并且是截然不同的）

2、PAL制式将R、G、B3色信号改组成Y、U、V信号，其中：

a）Y信号表示：

亮度

b）U、V信号表示：

色差信号

3、图像通常由点、线、面等几何元素和灰度、色彩、线形、线宽等非几何属性组成。

4、图像增强法有：

直方图增强法、空域滤波法、频率域滤波法、。

5、常见的图像重建方法有：

投影重建法、变换重建法、技术展开重建法、综合重建、体素级重建法、切片机重建法。

6、常见的图像文件存储格式主要有：

BMP、JGP、PCX、TIFF、GIF。

*简答

什么是真彩色，什么叫伪彩色？

真彩色是：

指图像中的每个像素值都分成RGB3个基色分量，每个基色分量直接决定其基色的强度，这样产生的颜色称为真彩色。

伪彩色图像的每个像素值实际上是一个索引值或代码，该代码值作为颜色查找表中某一项的入口地址，根据该地址可查找出包含实际R、G、B的强度值，这种用查找映射的方法产生的颜色称为伪彩色。

什么是视频，简述视频图像数字化的过程。

视频邮件序列图像，实际上就是其内容随时间变化的一组动态图像。

数字化视频的优点有哪些？

1、适合网络应用

2、再现性好

3、便于计算机编辑处理

图像数字化过程的基本步骤是什么？

图像的数字化是指将一幅图像从模拟形式转化为数字的形式，包括对图形进行采样、量化以及编码等过程。

（再简要描述p48）

a）颜色三特性：

色调（hue），是视觉系统对一个区域所呈现颜色的感觉

饱和度（saturation），是颜色的纯洁性（红色饱和度最高，黄色次之）

明度（brightness），是视觉系统对可见物体辐射或者发光多少的感知属性（黄色明度最高，紫色明度最低）。

用于判断：

饱和度越高，颜色越艳丽，越鲜明突出，越能发挥其颜色的固有属性。

但是包核对越高的颜色容易让人感到单调刺眼。

饱和度低，色干比较柔和协调，可混色太杂则容易让人感觉浑浊，色调显得灰暗。

b）RGB颜色空间

（R红G绿B蓝），加性，用于计算机显示器。

c）HIS颜色空间

（H色调S饱和度I亮度）它反应了人的视觉系统观察颜色的方式。

适用于：

人类视觉系统，图像处理，计算机视觉，可以大大简化图像分析和处理的工作量。

d）YUV颜色空间

（Y亮度，UV色差信号）适用于彩色电视信号传输的模型。

（PS如果只有Y有分量，则为黑白图）

e）CMYK颜色空间

（C青色M品红Y黄色K黑色）适用于印刷打印行业。

（减性的）

f）图形处理技术的主要应用领域在

1、计算机辅助设计和制造

2、计算机教育

3、计算机艺术

4、计算机模拟

5、计算机可视化

6、计算机动画

7、虚拟现实

g）图像的数字化过程是指：

将一幅图像从模拟形式转化为数字形式，包括对图像进行采样、量化以及编码等过程。

h）图像的采样是：

对图像空间的离散化

i）显示深度即：

延时器可以显示的颜色数

j）图像数据量=图像的总像素*图像深度/8

k）对图像处理通常将空间域的处理转换为变换域的处理，即图像变换，常用的有：

傅里叶变换FFT，离散余弦变换DCT，离散小波变换DWT

l）图像增强的主要方法有：

直方图增强、空间滤波法、频率域滤波法以及彩色增强法。

m）图像数据压缩比=压缩后的图像数据量/压缩前的图像数据量

n）视频可分为：

模拟视频和数字视频

o）模拟电视系统常采用光栅扫描方式。

p）光栅扫描是指在一定时间间隔内电子束从左到右，从上到下的方式扫面感光表面。

q）扫描方式常有逐行扫描和隔行扫描。

r）Ntsc：

30帧/s，60场/s，每帧扫描525条扫描线——北美，日本

s）PAL：

25帧/s，50场/s，每帧扫描625条扫描线——西欧，中国，印度

t）模拟信号经过数字化处理后，就变成呢个了一帧帧由数字图像组成的图像序列，即数字视频信号。

它用二进制表示，是计算机可以处理的数字信号。

优点：

1、使用网络应用

u）第一代视频编码：

1、预测编码

2、变换编码

3、基于块的混合编码

v）第二代视频编码（基于内容的视频编码）

1、分析合成编码

2、基于知识的编码

3、模式编码

4、语义编码

w）视频通信有两种基本的传输模式：

单点传输模式和多点传输模式

x）单点传输模式需要对等的通信方或对手。

因而把这种通信方式称为一对一方式，一般将这种对等通信称为单播。

y）多点传送是一对多或者一对全部的方式，也成为广播或组播。

zz）点播

是将编码后的视频流存放起来，编码在离线的状态下进行

aa）直播

则需要编码器实时的对视频信息进行编码

bb）视频信号的运动分析主要有两种方法：

1、根据时间相邻的两幅图或多幅图求解物体运动参数和三位结构信息

2、给予光流分析的运动分析

cc）三维视图的实际重要运用有：

医学图像科学勘探

dd）计算机动画按实现的方式可分为：

帧动画、造型动画。

ee）动画生成方式

1、关键帧动画

2、调色板动画

3、变形动画

4、基于物理模型的动画

5、过程动画

6、运动捕捉

7、三维扫描

ff）数字图像格式表

名称

典型应用

开发公司

BMP

Windows应用程序

Microsoft

TIF

桌面出版

Aldus，microsoft

GIF

因特网

CompuServe

JPEG

因特网，数码相机

ISO/IEC

PCX

扫描仪

ISoft

gg）dda算法求直线

第四章多媒体数据压缩与编码技术

1、游程编码是一种利用空间冗余度压缩图像的方法。

游程编码一般不直接用于多灰度图像，但比较适合二值图像的编码。

2、根据香农失真率理论，对于无记忆信源、矢量量化编码总是优于标量量化编码。

预测编码、变换编码是有损编码

K-L变换为最佳正交变换。

1、一个压缩系统包括两个不同的结构块：

编码器、解码器。

2、游程编码分为定长游程编码和变长游程编码

3、预测编码可分为有损预测编码和无损预测编码

4、今天的影像压缩中，动态影像的压缩一般采用MPEG算法，而静止影像的压缩多采用JEPG算法

5、在视频预测编码中，主要分为：

帧内预测编码和帧间预测编码

6、在帧间预测中引入运动补偿的目的是为了减少预测误差，从而提高编码效率。

影像数据压缩性能的主要因素有哪些？

试说明DPCM和ADPCM的异同点

说明DCT变换编码的基本方法

自带编码的优越性

什么是统计编码，常用的统计编码有哪些？

简述算数编码的编码步骤

笔记知识重点

1）常见的静态图像数据冗余：

1、空间冗余（点点之间的比较）

2、时间冗余（前后两帧之间的相似性）

3、结构冗余（纹理）

4、知识冗余（规律）

5、视觉冗余（敏感）

6、图像区域的相同性冗余（多个区域相关性）

7、纹理的统计冗余（分布）

2）编码计算：

（重点掌握计算方法）

（信道编码）海明码（Hamming）即向被编码数据中加入足够的位数以确保可用的码字间变化的位数最小。

3）无损编码：

1、霍夫曼编码

2、香浓非诺编码

3、算术编码

4、行程编码

5、词典编码

预测编码—DPCM

P106变化编码、解码图。

两种游程编码方式：

（value,length）

（zero-to-step，nextnon-zerovalue）

例：

32，6，-1，-1，0，-1，0，0，0，-1，0，0，0，0，0

答1：

32，1，6，1，-1，2，0，1，-1，1，0，3，-1，1，0，6

2：

0，6，0，-1，0，-1，1，-1，3，-1，0，0

第五章多媒体数据处理的技术标准

选择（略）

34331

1、H．261标准将CIF和QCIF格式的数据结构划分为4个层次：

图像层、块组层、宏块层、块层

2、H．261标准分为基本档次、主要档次、扩展档次以及适用于不同的应用。

3、MPEG标准主要由视频、音频、系统、3部分组成，是一个完整的多媒体压缩编码方案。

4、MPEG-1以宏块作为基本编码单位。

5、MPEG-7全称为多媒体内容描述接口。

1、简述JPEG编码的几个计算步骤

2、在JPEG编码计算步骤中，哪些计算式有损的？

哪些是无损的

3、MPEG-1、MPEG-2、MPEG-4、MPEG-7的目标是什么？

主要应用

MPEG-1

适用于vcd，数码相机，数字摄像设备

H．261

应用于视频通信，如可视电话、会议电话

MPEG-2

用途最广如DVD，卫星电视直播，数字有线电视等

MPEG-2（高清模式）

高清晰度电视HDTV领域

MPEG-4

适用于交互式和移动多媒体应用，包括虚拟现实，远程教育，手机，MP4播放器

a）联合图片专家组（JiontPhotographicExpertsGroup，JPEG），ISO和CCITT联合成立，致力于静止图像压缩。

b）JPEG的三个图像标准：

1、1992的JPEG（有损的）

2、JPEG-LS能够提供接近无损压缩的可逆压缩形式。

3、1990年的，JPEG2000，不仅能够提高对图像的压缩质量，尤其是低码率是的压缩质量，而且还将得到许多新功能，包括根据图像质量，视觉感受和分辨率进行渐进传输，对码流的随机存取和处理、开放结构、向下兼容等

c）JPEG的四种工作模式（P155理解，包括图）

1、基于DCT的顺序模式

2、基于DCT的累进模式

3、无损模式

4、分层模式

Mpeg（mpg,dat）

使用MPEG编码的电影文件

Mp2

MPEG-2编码的电影文件

Mp4

MPEG-4编码的电影文件

.avi

微软视频剪辑文件

.wmv

微软的流式视频文件

.asf

.rm

流式视频文件

.mov

苹果公司的流式视频文件

.divx

Mp4播放器是一片那个，

Mp3

采用MPEG-3对数字音频进行压缩得到

d）JPEG是静态图像编码压缩标准，可以压缩任何连续色调的静止文件。

e）MPEG标准主要由视频音频和系统3个部分组成，是一个完整的多媒体压缩编码方案。

f）h.263制定于1996年，是目前视频会议的主流编码方法。

第十一章多媒体信息安全技术

Xxoxx

44124

1、被动攻击本质上是在传输过程中的偷听或监视，其目的是从传输中获得信息。

两类被动攻击分别是消息内容分析、通信量分析。

2、一个实用的数字水印系统必须满足三个基本要求：

不可见性、鲁棒性、安全性

3、数字水印系统设计包括三个部分：

水印生成、水印嵌入、水印检测

4、根据视频水印嵌入位置的不同，视频水印算法分为三大类：

1、多媒体安全的基本要素是什么？

为什么要研究多每一的安全问题？

2、常见的多媒体攻击有哪些？

3、多媒体信息保护的重要策略有哪些？

4、简述信息隐藏技术的分类以及主要应用。

5、给出DCT域图像水印的嵌入与提取过程。

笔记重点知识

a）一般主动攻击类型：

中断，截获，篡改，伪造

b）被动攻击和主动攻击（理解）

c）多媒体信息安全的要素包括：

机密性、完整性、可用性、可控性、不可抵赖性

（PS其中基本要求是机密性、完整性、可用性）

机密性：

信息不泄露给非授权人

完整性：

是指信息在存储或传输过程中保持不被修改，不被破坏，不被插入，不延迟，不乱序和不丢失数据的特性

可用性：

是指信息可被合法用户访问并按要求顺当使用的特性。

可控性：

是指授权机构可以随时控制信息的机密性

不可抵赖性：

放置发送方或接收方抵赖所传输的消息

d）数据信息保护策略：

数据置乱、数据信息隐藏、数字信息分存、数据信息加密、认证及防毒。

数据置乱：

借助数学或其他领域的技术，对数据的位置或