视频信息处理与传输课题研究报告.docx
- 文档编号:10492995
- 上传时间:2023-02-14
- 格式:DOCX
- 页数:19
- 大小:196.76KB
视频信息处理与传输课题研究报告.docx
《视频信息处理与传输课题研究报告.docx》由会员分享,可在线阅读,更多相关《视频信息处理与传输课题研究报告.docx(19页珍藏版)》请在冰豆网上搜索。
视频信息处理与传输课题研究报告
西南科技大学
课程研究报告
课程名称:
视频信息处理与传输
班级:
姓名:
学号:
指导老师:
2016年11月日
课程学习目的:
《视频信息处理与传输》是数字媒体技术方向中的一门专业必选课,学习的目的是让我们系统地理解和掌握视频信息的采集、压缩编码视频信息传输等数字视频技术,并灵活应用。
为我们补充TCP/IP,UDP,RTP等视频信息在网络中传输所必需的协议。
老师为我们讲解了视频信息处理与传输概述,视频信息采集技术,以及传输协议。
我将分别叙述我从中学习到的知识。
第一部分视频信息处理与传输概述
随着科学技术,视频信息处理与传输的技术也成了人们关注的一个热点。
从采集到应用系统,每步都在提升。
信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要,如何维护信息的安全和如何处理信息垃圾已成为一个热点。
信息安全是指信息网络硬件、软件及其系统中的数据受到保护,不受偶然或者恶意的原因而遭到破坏、更改、泄露。
系统连续可靠正常地运行,信息服务不中断。
信息安全主要包括以下五方面:
保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。
信息安全的根本目的就是使内部信息不受外部威胁,因此信息通常要加密。
为保障信息安全,要求有信息源认证、访问控制,不能有非法软件驻留,不能有非法操作。
信息垃圾就是那些混在大量有用信息中的无用信息、有害信息,以及对人类社会的各个方面带来危害的信息。
它对信息安全应用和转播构成了威胁。
这一部分就是老师讲的关于这个课程的一些概述,也没用从中获取太多的知识。
第二部分视频信息采集技术
从这一部分,我从中学到了视频是怎么样组成的,以及视频的采集技术。
我们所看到的视频信息都是由一帧一帧的静态图像构成的,再加上每一帧图像的时间信息,通过连续播放而成.。
视频分为模拟视频和数字视频,而数字视频是模拟视频的数字化。
模拟信号对应于时间轴有连续的无穷多个值,它完全准确地表示信号电平,如话音、图像等均是模拟信号。
以模拟信号传输或处理的电视称为模拟电视。
模拟电视的讯号广播公司通常是使用NTSC、PAL或SECAM的模拟制式把它们的信号进行调频后,调节这些信号并放进VHF或者UHF的载波上。
数字视频就是以数字形式记录的视频,和模拟视频相对的。
数字视频有不同的产生方式,存储方式和播出方式。
比如通过数字摄像机直接产生数字视频信号,存储在数字带,蓝光盘或者磁盘上,从而得到不同格式的数字视频。
然后通过PC,特定的播放器等播放出来。
为了存储视觉信息,模拟视频信号的山峰和山谷必须通过模拟/数字(A/D)转换器来转变为数字的“0”或“1”。
这个转变过程就是我们所说的视频捕捉(或采集过程)。
如果要在电视机上观看数字视频,则需要一个从数字到模拟的转换器将二进制信息解码成模拟信号,才能进行播放。
模拟视频的数字化包括不少技术问题,如电视信号具有不同的制式而且采用复合的YUV信号方式,而计算机工作在RGB空间;电视机是隔行扫描,计算机显示器大多逐行扫描;电视图像的分辨率与显示器的分辨率也不尽相同等等。
因此,模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。
可见光是波长在380nm~780nm之间的电磁波,我们看到的大多数光不是一种波长的光,而是由许多不同波长的光组合成的。
如果光源由单波长组成,就称为单色光源。
该光源具有能量,也称强度。
实际中,只有极少数光源是单色的,大多数光源是由不同波长组成,每个波长的光具有自身的强度。
这称为光源的光谱分析。
研究表明,人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞。
红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同,对不同亮度的感知程度也不同。
自然界中的任何一种颜色都可以由R,G,B这3种颜色值之和来确定,以这三种颜色为基色构成一个RGB颜色空间,基色的波长分别为700nm(红色)、546.1nm(绿色)和435.8nm(蓝色)。
颜色=R(红色的百分比)+G(绿色的百分比)+B(蓝色的百分比),只要其中一种不是由其它两种颜色生成,可以选择不同的三基色构造不同的颜色空间,即三基色原理。
模拟视频的数字化包括不少技术问题,如电视信号具有不同的制式而且采用复合的YUV信号方式,而计算机工作在RGB空间;电视机是隔行扫描,计算机显示器大多逐行扫描;电视图像的分辨率与显示器的分辨率也不尽相同等等。
因此,模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。
模拟视频一般采用分量数字化方式,先把复合视频信号中的亮度和色度分离,得到YUV或YIQ分量,然后用三个模/数转换器对三个分量分别采样并进行数字化,最后再转换成RGB空间。
对彩色电视图像进行采样时,可以采用两种采样方法。
一种是使用相同的采样频率对图像的亮度信号(Y)和色差信号(Cr,Cb)进行采样,另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。
如果对色差信号使用的采样频率比对亮度信号使用的采样频率低,这种采样就称为图像子采样(subsampling)。
由于人的视觉对亮度信号的敏感度高于对色差的敏感度,这样做利用人的视觉特性来节省信号的带宽和功率,通过选择合适的颜色模型,可以使两个色差信号所占的带宽明显低于Y的带宽,而又不明显影响重显彩色图像的观看。
目前使用的子采样格式有如下几种:
(1)4:
4:
4这种采样格式不是子采样格式,它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本,这就相当于每个像素用3个样本表示。
(2)4:
2:
2这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本,平均每个像素用2个样本表示。
(3)4:
1:
1这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本,平均每个像素用1.5个样本表示。
(4)4:
2:
0这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本,平均每个像素用1.5个样本表示。
等间隔量化适合像素灰度值在黑白范围较均匀分布的图像。
非等间隔量化(非均匀量化)——对图像中像素灰度值频繁出现的灰度值范围,量化间隔取小一些,而对那些像素灰度值极少出现的范围,则量化间隔取大一些。
在数字图像处理技术上,亮度信号的取样频率为13.5MHz,理由如下:
①按照奈奎斯特取样定理,取样频率至少应为信号上限频率的2倍,为获得满意的图像质量,在PAL制中亮度信号要求5.8--6MHz的带宽。
因此,取样频率应大于12MHz。
②为了取样后保证产生足够小的混叠噪声,要求取样频率是信号宽带的2.2-2.7倍。
因此对PAL制信号,取样频率应大于13.2MHz。
我们使用的图像传感器主要有CMOS与CCD两种。
下面就是我学习到的知识。
CCD图像传感器可直接将光学信号转换为模拟电流信号,电流信号经过放大和模数转换,实现图像的获取、存储、传输、处理和复现。
其显著特点是,体积小重量轻,功耗小,工作电压低,抗冲击与震动,性能稳定,寿命长,灵敏度高,噪声低,动态范围大,响应速度快,有自扫描功能,图像畸变小,无残像,应用超大规模集成电路工艺技术生产,像素集成度高,尺寸精确,商品化生产成本低。
因此,许多采用光学方法测量外径的仪器,把CCD器件作为光电接收器。
CMOS图像传感器是一种典型的固体成像传感器,与CCD有着共同的历史渊源。
CMOS图像传感器通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口等几部分组成,这几部分通常都被集成在同一块硅片上。
其工作过程一般可分为复位、光电转换、积分、读出几部分。
CMOS图像传感器具有以下几个优点:
随机窗口读取能力,抗辐射能力。
,系统复杂程度和可靠性,非破坏性数据读出方式。
第三部分视频信息压缩编码及标准
视频信息压缩的必要性与可行性,必要性:
以较少的数据来表示图像;节约储存器空间;节省传输信道带宽;加快处理速度。
可行性:
冗余越大,可压缩的程度就越高。
①由于相邻像素之间存在关联而产生大量的空间冗余。
②由于彩色元素间存在相互关联而产生大量频谱冗余。
③由于人类视觉系统特点而引起的大量心理视觉冗余。
视频信息压缩的评价指标,衡量一种数据压缩技术的重要性能指标有压缩比、压缩速度、压缩质量和计算量等。
典型的视频信息压缩编码方法,常见的视频信息压缩编码方法有:
K-L变换编码、DCT变换编码、子带编码、预测编码、小波变换编码、模型基编码、分形编码、基于对象的视频编码。
通常变换编码的基本思想:
先将空间域图像通过某种正交变换,获得一系列变换系数,在变换过程中,使图像变换系数能量相对集中,再对其变换系数进行区域量化等,按其所含能量大小,分配以不同的数据量去描述,从而达到压缩的目的。
数字图像包含的冗余信息一般有以下几种:
空问冗余、时间冗余、信息熵冗余、统计冗余、结构冗余、视觉冗余以及知识冗余等。
图像压缩算法就是要在保证图像一定的熏建质量的同时,尽可能多的去除这些冗余信息.以达到对图像压缩的目的。
随着科学技术的发展,图像压缩编码技术越来越引起人们的关注。
所谓的图像压缩编码技术就是对要处理的图像数据按一定的规则进行变换和组合,从而达到以尽可能少的数据流来表示尽可能多的数据信息。
DCT变换后具有绝对的去相关性,并且变换后的矩阵从左上角到右下角频率规律的渐高。
有损压缩方法利用了人类视觉对图像中的某些频率成分不敏感的特性,允许压缩过程中损失一定的信息;虽然不能完全恢复原始数据,但是所损失的部分对理解原始图像的影响较小,却换来了大得多的压缩比。
因此舍弃高频分量保留低频分量的做法对于图像压缩具有绝对的优势。
只要损失的数据不太影响人眼主观接收的效果,就可采用。
首先将输入图像颜色空间转换后分解为8×8大小的数据块,然后用正向二维DCT把每个块转变成64个DCT系数值,其中1个数值是直流(DC)系数,即8×8空域图像子块的平均值,其余的63个是交流(AC)系数,接下来对DCT系数进行量化,最后将变换得到的量化的DCT系数进行编码和传送,这样就完成了图像的压缩过程。
压缩图像数据
游程译码
反量化
IDCT变换
恢复图像数据
码表
DCT编码过程
现在主要的视频信息压缩编码标准有MPEG-1、H.261、MPEG-2、H.262、H.263/H.263+/H.264、MPEG-4、MPEG-7、MPEG-21。
这里介绍MPEG系列标准。
1、MPEG-1标准
MPEG-1标准于1993年8月公布,是针对1.5Mbps以下数据传输率的数字存储媒质运动图像及其伴音编码的国际标准。
它提供的重要特性包括基于帧的视频随机访问,通过压缩比特流的快进/快退搜索,视频的倒放,以及压缩比特流的可编辑性。
MPEG-1对色差分量采用4∶1∶1的二次采样率。
MPEG1旨在达到VRC质量,其视频压缩率为26∶1。
该标准包括五个部分:
第一部分说明了如何根据第二部分(视频)以及第三部分(音频)的规定,对音频和视频进行复合编码。
第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。
第五部分是一个用完整的C语言实现的编码和解码器。
2、MPEG-2标准
MPEG组织于1994年推出MPEG-2压缩标准,以实现视/音频服务与应用互操作的可能性。
MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定,编码码率从每秒3兆比特~100兆比特,特别适用于广播级的数字电视的编码和传送,被认定为SDTV和HDTV的编码标准。
MPEG-2还专门规定了多路节目的复分接方式。
MPEG-2的编码码流分为六个层次。
为更好地表示编码数据,MPEG-2用句法规定了一个层次性结构。
它分为六层,自上到下分别是:
图像序列层、图像组(GOP)、图像、宏块条、宏块、块。
MPEG-2标准目前分为9个部分,统称为ISO/IEC13818国际标准。
各部分的内容描述如下:
一部分-ISO/IEC13818-1,System:
系统,描述多个视频,音频和数据基本码流合成传输码流和节目码流的方式。
二部分-ISO/IEC13818-2,Video:
视频,描述视频编码方法。
三部分-ISO/IEC13818-3,Audio:
音频,描述与MPEG-1音频标准反向兼容的音频编码方法。
四部分-ISO/IEC13818-4,Compliance:
符合测试,描述测试一个编码码流是否符合MPEG-2码流的方法。
五部分-ISO/IEC13818-5,Software:
软件,描述了MPEG-2标准的第一、二、三部分的软件实现方法。
六部分-ISO/IEC13818-6,DSM-CC:
数字存储媒体-命令与控制,描述交互式多媒体网络中服务器与用户间的会话信令集。
上六个部分均已获得通过,成为正式的国际标准。
此外,MPEG-2标准还有三个部分:
第七部分规定不与MPEG-1音频反向兼容的多通道音频编码;第八部分现已停止;第九部分规定了传送码流的实时接口。
3、MPEG-4标准
MPEG-4标准专家组成立于1993年,该标准的目标为:
支持多种多媒体应用(主要侧重于对多媒体信息内容的访问),可根据应用的不同要求现场配置解码器。
MPEG-4于2000年年初正式成为国际标准。
该标准旨在为视音频数据的通信、存取与管理提供一个灵活的框架与一套开放的编码工具。
这些工具将支持大量的应用功能(新的和传统的)。
尤为引人注目的是,MPEG-4提供的多种视音频(自然的与合成的)的编码模式使图象或视频中对象的存取大为便利。
这种视频、音频对象的存取,常被称作基于内容的存取。
基于内容的检索是它的一种特殊形式。
它分为以下27个部分:
第一部分(ISO/IEC14496-1):
系统:
描述视讯和音频数据流的控制、同步以及混合方式(即混流Multiplexing,简写为MUX)。
第二部分(ISO/IEC14496-2):
视讯:
定义了一个对各种视觉讯息(包括自然视讯、静止纹理、计算机合成图形等等)的编译码器。
(例如XviD编码就属于MPEG-4Part2)
第三部分(ISO/IEC14496-3):
音讯:
定义了一个对各种音频讯号进行编码的编译码器的集合。
包括高阶音频编码(AdvancedAudioCoding,缩写为AAC)的若干变形和其他一些音频/语音编码工具。
第四部分(ISO/IEC14496-4):
一致性:
定义了对本标准其他的部分进行一致性测试的程序。
第五部分(ISO/IEC14496-5):
参考软件:
提供了用于演示功能和说明本标准其他部分功能的软件。
第六部分(ISO/IEC14496-6):
多媒体传输整合框架(DMIFforDeliveryMultimediaIntegrationFramework)
第七部分(ISO/IEC14496-7):
优化的参考软件:
提供了对实作进行优化的例子(这里的实作指的是第五部分)。
第八部分(ISO/IEC14496-8):
在IP网络上传输:
定义了在IP网络上传输MPEG-4内容的方式。
第九部分(ISO/IEC14496-9):
参考硬件:
提供了用于演示怎样在硬件上实作本标准其他部分功能的硬件设计方案。
第十部分(ISO/IEC14496-10):
进阶视讯编码或称高阶视讯编码(AdvancedVideoCoding,缩写为AVC):
定义了一个视讯编译码器(codec)。
AVC和XviD都属于MPEG-4编码,但由于AVC属于MPEG-4Part10,在技术特性上比属于MPEG-4Part2的XviD要先进。
另外,它和ITU-TH.264标准是一致的,故又称为H.264。
第十二部分(ISO/IEC14496-12):
基于ISO的媒体文件格式:
定义了一个储存媒体内容的文件格式。
第十三部分(ISO/IEC14496-13):
知识产权管理和保护(IPMPforIntellectualPropertyManagementandProtection)拓展。
第十四部分(ISO/IEC14496-14):
MPEG-4文件格式:
定义了基于第十二部分的用于储存MPEG-4内容的视讯文件格式。
第十五部分(ISO/IEC14496-15):
AVC文件格式:
定义了基于第十二部分的用于储存第十部分的视讯内容的文件格式。
第十六部分(ISO/IEC14496-16):
动画框架扩充功能(AFX:
AnimationFrameworkeXtension)。
第十七部分(ISO/IEC14496-17):
同步文字字幕格式。
第十八部分(ISO/IEC14496-18):
字型压缩和串流传输(针对开放字型格式OpenFontFormat)。
第十九部分(ISO/IEC14496-19):
合成材质流(SynthesizedTextureStream)。
第二十部分(ISO/IEC14496-20):
简单场景表示(LASeRforLightweightSceneRepresentation。
第二十一部分(ISO/IEC14496-21):
用于描绘(Rendering)的MPEG-J拓展。
第二十二部分(ISO/IEC14496-22):
开放字型格式(OpenFontFormat)。
第二十三部分(ISO/IEC14496-23):
符号化音乐表示(SymbolicMusicRepresentation)。
第二十四部分(ISO/IEC14496-24):
音频与系统互动作用(Audioandsystemsinteraction)。
第二十五部分(ISO/IEC14496-25):
3D图形压缩模型(3DGraphicsCompressionModel)。
第二十六部分(ISO/IEC14496-26):
音讯一致性检查:
定义了测试音频数据与ISO/IEC14496-3是否一致的方法(Audioconformance)。
第二十七部分(ISO/IEC14496-27):
3D图形一致性检查:
定义了测试3D图形数据与ISO/IEC14496-11:
2005,ISO/IEC14496-16:
2006,ISO/IEC14496-21:
2006,和ISO/IEC14496-25:
2009是否一致的方法(3DGraphicsconformance)。
4.MPEG-7标准
随着Internet的普及和网络带宽的增加,产生了大量的多媒体数据,如何在浩如烟海的信息中快速、准确地获得自己所需的内容则成为当前必须解决的问题。
在此需求下,MPEG-7应运而生。
规定一个用于描述各种不同类型多媒体信息的描述符的标准集合被称为“多媒体内容描述接口”。
该标准于1998年10月提出,于2001年最终完成并公布。
MPEG-7的目标是支持多种音频和视觉的描述,包括自由文本、N维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息;是根据信息的抽象层次,提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求;是支持数据管理的灵活性、数据资源的全球化和互操作性。
最终的目的是把网上的多媒体内容变成文本内容,具有可搜索性。
MPEG-7由以下几部分组成:
(1)MPEG-7系统:
它保证MPEG-7描述有效传输和存储所必须的工具,并确保内容与描述之间进行同步,这些工具有管理和保护的智能特性;
(2)MPEG-7描述定义语言:
用来定义新的描述结构(说明成员之间的结构和语义)的语言;
(3)MPEG-7音频:
只涉及音频描述的描述子(定义特征的语法和语义)和描述结构;
(4)MPEG-7视频:
只涉及视频描述的描述子和描述结构;
(5)MPEG-7属性实体和多媒体描述结构;
(6)MPEG-7参考软件:
实现MPEG-7标准相关成分的软件;
(7)MPEG-7一致性:
测试MPEG-7执行一致性的指导方针和程序。
5、MPEG-21标准
MPEG-21的正式名称是多媒体框架,又称数字视听框架(DigitalAudio-VisualFramework)。
它的目标就是理解如何将不同的技术和标准结合在一起,需要什么样的新标准以及完成不同标准的结合工作。
简言之,制定MPEG-21标准的目的是:
(1)将不同的协议、标准、技术等有机地融合在一起;
(2)制定新的标准;(3)将这些不同的标准集成在一起。
MPEG-21标准其实就是一些关键技术的集成,通过这种集成环境就对全球数字媒体资源进行透明和增强管理,实现内容描述、创建、发布、使用、识别、收费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件报告等功能。
第四部分视频信息传输网络及协议
这一部分我学到OSI7层模型标准(ISO7498),ip、tcp、udp、rtcp协议,电话系统等知识,下面的内容就是我就得这一部分最有用的内容
OSI7层模型标准(ISO7498)
网络通信系统
主要有电话系统、N-ISDN、B-ISDN、ATM、移动电话系统、有线电视系统、通信卫星、无线网络。
它的特点:
基础通信平台,提供计算机网络的数据传输信道,但又独立于计算机通信;逐步吸收融合计算机网络的许多思想,越来越复杂。
这里简单介绍一下电话系统PSTN:
公共交换电话网络,一种常用旧式电话系统。
即我们日常生活中常用的电话网。
工作原理公共交换电话网络是一种全球语音通信电路交换网络,包括商业的和政府拥有的。
所谓公用电话交换网(PSTN——PublicSwitchedTelephoneNetwork),即我们日常生活中常用的电话网。
众所周知,PSTN是一种以模拟技术为基础的电路交换网络。
在众多的广域网互连技术中,通过PSTN进行互连所要求的通信费用最低,但其数据传输质量及传输速度也最差,同时PSTN的网络资源利用率也比较低。
统计时分复用(按需分配带宽)基本原理是把时间划分为不等长的时间片,长短不同的时间片就是传送不同长度分组所需要的时间,每路通信按需分配时间片,当通信需要传送的分组多时,所占用时间片的个数就多,反之,所占用时间片的个数就少,不传输信息时不分配带宽。
由此可见,统计时分复用是按需分配带宽(动态分配带宽)的。
标志化信道:
在统计时分复用中,靠分组头中的标志来区分不同的通信分组。
具有相同标志的分组属于同一个通信,也就构成了一个子信道,识别这个子信道的标志也叫做信道标志,该子信道被称为标志化信道。
而同步时分复用靠时间位置来识别每路通信的分组,被称为位置化信道。
信息传送有差错控制,分组交换是专门为数据通信网设计的交换方式,为保证数据信息的可靠性,在分组交换中设有CRC校验、重发等差错控制机制。
信息传送不具有透明性。
分组交换对所传送的数据信息要进行处理。
视频信息传输协议
IP协议
是用于将多个包交换网络连接起来的,它在源地址和目的地址之间传送一种称之为数据包的东西,它还提供对数据大小的重新组装功能,以适应不同网络对包大小的要求。
IP实现两个基本功能:
寻址和分段。
IP可以根据数据包包头中包括的目的地址将数据报传送到目的地址,在此过程中IP负责选择传送的道路,这种选择道路称为路由功能。
如果有些网络内只能传送小数据报,IP可以将数据报重新组装并在报头域内注明。
IP使用四个关键技术提供服务:
服务类型,生存时间,选项和报头校验码。
服务类型指希望得到的服务质量。
服务类型是一个参数集,这些参数是Internet能够提供服务的代表。
这种服务类型由网关使用,用于在特定的网络,或是用于下下一个要经过的网络,或是下一个要对这个数据报进行路由的网关上选择实际的传送参数。
生存时间是数据报可以生存
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视频 信息处理 传输 课题 研究 报告
![提示](https://static.bdocx.com/images/bang_tan.gif)