视频稳像技术的研究与实现.docx
- 文档编号:26200603
- 上传时间:2023-06-17
- 格式:DOCX
- 页数:40
- 大小:407.54KB
视频稳像技术的研究与实现.docx
《视频稳像技术的研究与实现.docx》由会员分享,可在线阅读,更多相关《视频稳像技术的研究与实现.docx(40页珍藏版)》请在冰豆网上搜索。
视频稳像技术的研究与实现
本科毕业设计(论文)
视频稳像技术的研究与实现
学院计算机学院
专业网络工程
年级班别2008级
(2)班
学号3108010645
学生姓名郑勇
指导教师邓杰航
2012年6月
视频稳像技术的研究与实现
郑勇
计算机学院
摘要2
ABSTRACT3
第一章绪论4
§1.1课题研究背景及意义4
§1.2稳像技术研究现状4
§1.2.1国外发展现状5
§1.2.2国内发展现状5
§1.3稳像技术中的主要问题与本文的主要内容6
§1.4论文的组织7
第二章视频稳像的理论基础7
§2.1电子稳像基本流程8
§2.2视频稳像算法框架9
§2.3摄像系统运动的类型10
第三章视频稳像的关键技术分析11
§3.1运动估计方法分析11
§3.1.1块匹配法11
§3.1.2投影法12
§3.1.3特征量跟踪算法12
§3.2运动补偿方法分析13
§3.2.1固定帧补偿方法13
§3.2.2相邻帧补偿方法14
§3.2.3运动滤波补偿方法14
第四章视频稳像算法研究15
§4.1.1光流法15
§4.1.2灰度投影算法16
§4.1.3块匹配法17
§4.2基于图像特征的运动估计算法18
§4.2.1基于图像边缘的运动估计算法18
§4.2.2基于直线特征的运动估计算法19
§4.2.3基于特征点的运动估计算法20
§4.2.4基于特征跟踪的运动估计算法20
第五章仿真实验21
§5.1MATLAB仿真软件简介21
§5.2MATLAB实验过程分析22
结束语28
参考文献29
致谢30
视频稳像技术的研究与实现
摘要
在摄像的过程中,经常会由于摄像载体的不稳定造成输出视频的抖动,这对于视频的观看或处理都是不利的。
视频稳像技术的目的就是要将这些不稳定的视频当中的抖动分量消除,形成较为稳定的视频输出。
稳定视频图像的基本方法可以分为三大类:
光学稳像、机械稳像和电子(数字)稳像。
与其它两种方法相比,电子稳像结合了电子技术、计算机技术和数字信号处理技术,具有更小的体积、更低的成本,以及更广泛的应用场合,因此得到了广泛的研究。
本文对电子稳像的基本原理,基本方法和处理过程进行了简要的阐述,同时着重的对其实现的关键技术进行了分析研究。
在对稳像算法的基础理论进行了较细致的研究的基础上,文中重点对基于图像灰度信息的运动估计算法和基于图像特征的运动估计算法进行了详细阐述并且用MATLAB进行仿真,采用特征点匹配算法来实现视频稳像。
关键词:
视频稳像,电子稳像技术,运动估计算法,特征点匹配算法
ABSTRACT
Intheprocessofphotograph,therearealwayssomeshakeofthecarrierwhichmakesthevideooutputunsteady,it'sbadforwatchingorprocessing.Theaimofvideostabilizationtechniqueistoeliminatetheditheredpartofunsteadyvideoandgetasteadyvideooutput.Therearethreebasicmethodstomakethevideosteady:
opticalimagestabilization(OIS),mechanicalimagestabilization(MIS)anddigitalimagestabilization(EIS).Comparingwiththeforegoingtwomethods,theEISwasintegratedwiththeelectronic,computeranddigitalsignalprocessingtechnique.Becauseofthesmallervolume,thelowercostandthewideusage,theEISmethodhasbeenresearchingwidely.
Thispaperpresentsbrieflytheelectronicimagestabilizationinrespectsofitsthebasicprinciples,methodsandprocess.Atthesametime,itinparticularstudiesonthekeytechniqueofitsrealization.Onthebasisofdeepresearchofvideostabilizationalgorithminthebasictheory,ThispapertellusthemotionestimationalgorithmbasedontheimagegrayinformationandtheestimationalgorithmbasedonimagecharacteristicindetailanduseMATLABtosimulateandusefeaturepointmatchingalgorithmtorealizevideostabilization.
Keywords:
videostabilization,digitalimagestabilization,motionestimationalgorithm,featurepointmatchingalgorithm
第一章绪论
§1.1课题研究背景及意义
近些年来,随着视频设备的普及以及计算机性能的不断提升,视频越来越多的以数字化的形式被存储起来,为各行各业提供了大量有价值的信息。
然而,在摄像的过程中由于摄像载体的抖动造成了摄像系统姿态的变化,造成了摄像系统的光轴与目标之间存在无效的相对运动,最后导致了视频图像的不稳定。
不稳定的视频不仅对人们的视觉效果有较大影响,同时对于图像后续处理也是十分不利的。
正是由于不稳定视频的负面影响,对视频稳像技术的研究成为了图像处理领域的一个热点。
视频稳像技术广泛应用于摄影、测绘和军事领域等当中。
因为在这些场合当中,摄像机所处的工作平台通常都是不稳定的。
比如使用手持或肩扛摄像机进行摄像或者监视的时候,人体本身的运动导致摄像不够稳定,因此要采用稳像技术来得到稳定的视频输出;当在运动载体上用望远镜观瞄目标时。
由于机座震动,摄像机所拍摄到的图像序列式抖动的,画面上的图像不稳定,将导致获得的图像信息不稳定。
而这种不稳定的图像对于观察者会产生疲劳感,从而引起误判和漏判,对于目标自动识别系统则会导致漏警和虚警。
综上所述,在运动的摄像载体中,怎样稳定视频图像时一个十分重要的问题。
§1.2稳像技术研究现状[1]
由于稳像技术的重要作用,许多国家和研究机构对稳像进行了深入的研究,并且已有相应的产品面世。
按照稳像作用的原理来分类,可以将常用的稳像装置及系统分为三类:
光学稳像、机械式稳像和电子稳像。
(1)光学稳像:
光学稳像通过主动光学部件自适应调整光路,补偿由于摄像平台抖动造成的图像运动,达到稳定图像的目的。
通常来讲,光学稳像方法不需要将整个仪器或光学系统稳定,从而减轻了
被稳定系统的重量。
在军事,医疗仪器等方面,光学稳像均有相对广泛的应用,光学稳像根据在平行光路对视线的控制的不同,又可把光学稳像方法分为利用折射光学元件的方法和利用反射光学元件的方法。
(2)机械稳像:
机械稳像通过脱落传感器等器件检测摄像平台的抖动,然后对系统进行调整而达到稳定图像的目的。
在一些大的系统中,如武器系统中,往往将整个成像设备置于平台上,形成平台稳像的方式。
平台稳定方式是通过惯性元件来检测载体的姿态角的变化,其输出信号经过放大后,驱动电机或压电陶瓷来保持摄像机的稳定,以便确保输出图像序列的平稳。
(3)电子(数字)稳像
电子(数字)稳像基于在连续视频图像之间进行运动估计,然后对视频中的每一帧图像进行运动滤波和运动补偿处理得到的稳定的图像。
传感器技术和计算机技术的不断发展,使得稳像系统已经逐步发展成为应用光、机、电的综合性系统。
利用机电传感器和数字图像结合的方法也被提出,这种方法利用高精度陀螺传感器,检测出图像的位移矢量,然后利用数字图像处理的方法对像素进行重组,从而实现图像的稳定。
但是这种方法需要增加精密机械,光学和电子器件等设备,不利于小型化和集成化,因此难以满足现代图像稳定技术发展的需要。
而利用电子稳像技术也就是利用数字图像处理技术检测出参考图像和被比较图像的运动位移,并利用其补偿被比较图像,从而消除或减轻视频图像帧间的不稳定,获得清晰而稳定的图像序列,该方法具有灵活性强,精度高及高智能化等特点。
由于电子稳像相对于其他两种稳像方式有着独特的优点,因此越来越多的关于稳像技术的研究瞄准了电子稳像的方向。
§1.2.1国外发展现状
国外对电子稳像技术的研究起步较早。
许多发达国家对电子稳像技术在军事方面的应用进行了较为深入的研究,如美国,加拿大和俄罗斯等国家。
同时,韩国和日本仔所生产的家用摄录机的成像系统中成功的应用了图像稳定技术。
通过稳像方法的分析和比较,发现电子稳像的方法不仅具有可以稳定图像的优点,还可以对目标进行跟踪。
经过多年深入的研究和应用发展,稳像系统处理视频图像序列的速度已达到了实时性的要求,同时,系统对图像抖动偏差处理范围越来越大,稳定的精度也越来越高,
上世纪80年代中期,美国第一次将电子稳像技术应用在导航制导系统中,取得了较好的稳像效果。
90年代以后,随着计算机技术和图像处理技术的迅猛发展,国外研究人员率先直接采用算法实现图像的稳定处理,进一步使电子稳像系统向小型化,实时性和高精度的方向发展。
加拿大防御机构DREV根据国防要求,在侦查扯10m高的跪杆上成功研制安装了实时监视系统中的稳像装置,其处理图像的稳像速率达到了30帧/秒,完全满足了实时性要求,系统处理精度也达到了1个像元。
美国华盛顿州立大学在视频遥控操作移动车辆项目中,使用图像处理和陀螺稳定器相结合的方法进行振动与图像的稳定。
美国军事研究实验室研制的稳像系统应用在了无人驾驶越野车上,其稳像精度达亚像素级。
美国马里兰大学主要在军事稳像技术方面进行了研究,并开发了多种稳像方法。
欧洲REOST(RailwayElectroOpticalSystemForSafeTransportation)项目中,在高速火车顶部安装摄像机的机械稳像系统上,进行了电子稳像,补偿残余误差。
其图像处理达到了14.2帧/秒。
§1.2.2国内发展现状
国内对电子稳像技术的研究虽然仍处于初级阶段,但是目前不仅在某些国家基金项目,国防基金项目以及省部级基金项目中都有立项,而且在一些工程项目中也投入了相当大的精力进行研究,并且取得了一定的阶段性研究成果。
目前,从收集到得资料看,今年来中国科学院长春光学精密仪器与物理研究所,北京理工大学和清华大学等高校较早的对电子稳像技术进行了研究。
目前国内运用电子稳像技术解决视频图像复杂抖动的情况仍然不够成熟。
在实际工程应用中,多采用传统的稳像方法进行稳像处理,而运用电子稳像技术实现稳定的处理很是少见。
所以结合实际摄像系统的应用,对电子稳像技术的研究是十分必要的,具有重要的应用价值。
纵观国内外电子稳像技术的研究历史,可发现电子稳像的发展趋势为:
第一,向获得更高的稳像精度和速度发展,稳定精度从初始的一个像元提高
到1/2,1/4个像元或者更高的精度。
第二,由于电子稳像技术对长焦距图像失稳的情况有比较好的稳像效果,
使用可使其应用范围扩展到大口径,长焦距的电视摄像系统中。
第三,可采用高速和大存储的硬件设备来增强图像处理的功能,以便保证图像的实时稳定效果。
§1.3稳像技术中的主要问题与本文的主要内容
从目前对于稳像算法的研究现状来看,主要存在以下一些问题:
1.稳像算法的精度不高。
由于全局运动估计的不够准确,导致了稳像算法
的精度不高。
2.稳像算法运算复杂度高。
在许多要求实时处理的场合由于复杂度的运算
导致无法达到实时处理。
3.稳像算法复杂。
对于需要在嵌入式平台上应用稳像算法的场合,只能对
复杂的算法进行简化处理,致使稳像的效果不尽人意。
4.算法适用性不广泛。
视频场景中有运动物体或是有遮挡的情况是稳像技
术研究的绊脚石,许多算法并不能很好的适应这些特殊情况的要求。
综上所述,稳像的结果目前仍然未能达到完善,因此对稳像技术的研究任重道远。
针对于目前稳像研究的研究方向以及研究中具体存在的问题,本文在以下方面进行了具体的工作。
1.研究稳像算法原理,对稳像算法的关键技术进行系统的研究与分析,从
而选择出合适的算法。
2.阐述了基于图像灰度信息的运动估计算法和基于图像特征的运动估计算法。
并对相关的算法的原理进行了介绍,并指出各自的应用区域和优缺点。
3.对视频稳像的关键技术进行了详细分析。
包括对运功估计方法分析和对运动补偿方法分析。
4.用MATLAB编程并且用特征点匹配算法进行了视频稳像。
用一种最简单的算法实现视频稳像,虽然此算法有很多不足但是简单易懂实现出来的效果也还可以。
§1.4论文的组织
在分析了有关视频稳像技术的研究背景、研究意义、研究现状以及存在的主要问题
的基础上本文对于视频稳像技术进行了系统的研究。
全文的内容安排如下:
第一章,绪论。
介绍了视频稳像技术的研究背景,研究意义和研究现状,同时总结
了现有稳像技术的不足之处,介绍了本文的研究工作。
第二章,视频稳像的理论基础。
本章主要介绍了视频稳像的基本理论,分析研究了视频稳像的基本流程和相关的框架。
第三章,视频稳像的关键技术。
本章主要对电子稳像的关键技术,即运动估计和运动补偿这两个方面进行了阐述,并且对电子稳像的评价准则从主观和客观两个方向做了简要介绍。
第四章,视频稳像算法研究。
介绍了视频稳像的相关算法而且分析了各自的优缺点适用范围,并对于视频稳像算法中的关键技术进行了研究与分析。
第五章,仿真实验。
运用MATLAB进行仿真实验,实验采用的是比较简单的特征点匹配算法来达到视频稳像的目的。
第二章视频稳像的理论基础
一般来讲,由于连续视频两帧图像之间相隔较短,所以相邻的两帧图像大部分内容是相同的,基于这种假设,两帧图像之间的相对运动可以分解为,大部分场景的全局运动和小部分场景的局部运动,而全局运动一般代表着摄像机的主观运动。
图3-1示意了相邻两帧图像的全局运动与局部运动[1],四个小圆圈的平移代表了整幅图像的全局运动,而中间的小三角的运动则代表了局部运动。
图2.1全局运动与局部运动
由于摄像载体的不稳定,导致在连续的帧间全局运动出现了抖动,如图2.2所示。
图中小圆圈在连续帧间上下起伏的运动轨迹就是由于全局运动受到抖动干扰后形成的。
视频稳像算法就是要保证得到正确的全局运动矢量,从而消除掉抖动对于全局运动的影响。
图2.2全局运动出现抖动
§2.1电子稳像基本流程[2]
电子稳像是利用某种算法对图像进行处理,用信号处理的方法分离出主体运动和附加的随机抖动运动参量,进而对当前图像做变换进行补偿,从而达到稳像的目的。
完整的稳像系统主要是由图像预处理、运动估计和运动补偿三部分组成。
图2.1显示了电子稳像系统处理的基本过程:
首先,对输入的视频图像序列进行预处理,主要进行平滑去噪和图像增强等处理;其次,根据图像序列的各种相关信息进行局部运动估计和全局运动估计,找出相邻帧图像之间的随机抖动运动参量,包括缩放、平移和旋转等运动参数;最后,综合评价所获取得到的运动参数,确定最终补偿参数,继而进行运动补偿,输出稳定清晰的视频序列。
图2.3电子稳像的基本流程
图像序列之间的不稳定只有通过显示器才能反映出帧与帧之间的图像抖动变化,所以,电子稳像技术与图像恢复有着根本的区别,电子稳像稳定的是整个图像序列,并且,图像序列中的每一帧图像是清晰的,而图像恢复处理的对象是每一帧模糊的图像。
电子稳像技术中最基本的是像移补偿技术,即选取合适的运动估计算法对图像进行处理,估算出当前帧相对于参考帧的全局运动矢量,并且,确定最终的补偿参数,而后对当前帧进行运动补偿处理,实现序列之间的稳定。
其原理如图2.4所示。
图2.4像移补偿技术原理图
图中每一格代表成像面上的一个像素,图(a)表示某一物体在某一时刻形成的第一帧视频图像,此物成像所在区域为(11,12,21,22);图伪)表示此物体(本身没有运动)在下一时刻,由于摄像机的随机抖动而形成的第二幅图像,其所在区域变为(22,23,32,33)。
从显示器上来看,由于同一物体在不同的区域(11,12,21,22,22,
23,32,33)都有物体的像,所以使得图像变得模糊,如图(c)所示。
这时候应用块匹配运动估计算法确定两帧的偏移量,然后把第二帧图像沿相反的运动矢量进行移动,使两帧像面的图像重合,如图(d)所示,即可消除两帧的抖动,保持图像序列的稳定。
由此可见,电子稳像只能稳定成像面内的图像序列。
从电子稳像的基本原理可以看出:
第一,电子稳像处理的对象是图像序列,目的是去除因摄像载体的随机抖动而造成的同一物体在不同帧的图像坐标上的抖动矢量,从而消除在显示器上观察到的图像序列中的景物的模糊和抖动,改善观察效果;第二,电子稳像只能稳定图像成像面内的图像,使得被补偿后的图像有部分信息在显示器被舍弃,出现了空白区域(这部分区域称其为补偿区域),未能充满整个屏幕。
§2.2视频稳像算法框架
采用图像处理的方法完成稳像功能的电子稳像算法而言,首先需要估计出相邻两帧图像之间的全局运动矢量,然后对于运动矢量进行滤波处理,使得高频的抖动分量被滤除掉,摄像机载体的主观运动被保留,然后通过对第二帧图像进行运动补偿,完成图像的稳像处理。
视频稳像算法的一般处理框架如图2.4所示。
在稳像算法的过程中,运动估计是最为关键的一步,只有准确的估计出了两帧图像之间的运动矢量,才能够通过后续滤波算法得出准确的补偿矢量。
而对于运动估计来说,一般可以将其分为基于图像灰度信息的运动估计和基于图像特征信息的运动估计。
电子稳像
原始视频
稳定视频
运动补偿
运动滤波
运动估计
图2.5视频稳像处理框架
§2.3摄像系统运动的类型
摄像系统的不规则运动是引起视频序列帧间的运动的主要原因,而摄像载体在不同时刻的姿态变化或者受到抖动的影响造成了这种不规则的运动。
我们结合不同的应用环境,可将摄像系统运动分为如下几种情况:
(1)摄像机固定
在常用的监控系统中,摄像机常常是被固定在某处进行定点拍摄。
这种情况下引起的帧间运动主要是由于摄像载体的震动,主要表现为小幅度的平移抖动。
当进行稳像处理时,只需要运用某种算法快速准确检测出平移抖动矢量并直接去除,即可保持画面的稳定。
(2)摄像机的平移运动
当摄像载体存在行进的运动时,摄像系统会同时包含两种运动分量,即正常的扫描运动和随机抖动。
当进行稳像处理时,一方面要减轻抖动的影响,同时又要保持正常的扫描运动。
(3)摄像机的随机抖动
当摄像载体存在随机抖动时,有可能存在平移运动和大角度的旋转运动,甚至还有变焦的运动。
对于这种情况,在稳像时,在实时检测复杂抖动的同时,还要保留原有的扫描运动。
(4)场景中的局部运动物体
对于摄像机拍摄时除了自身可能存在的各种运动之外,拍摄场景中还可能存在着前景运动目标,或者在背景中存在着小物体的移动等局部运动。
当进行稳像处理时,这些小物体的局部运动会对帧间全局运动参数的提取造成一定的误差影响,降低了全局运动估计的精度,因此需要对其进行判定消除处理。
第三章视频稳像的关键技术分析
一般地,电子稳像系统中主要包含两个方面的内容,即运动矢量估计和运动矢量补偿,这两个方面是紧密联系的,影响稳像的速度、质量和精度。
其中,运动矢量估计是占用时间最多,精度要求最高的关键部分,是稳像算法的关键环节;而运动矢量补偿则是根据运动矢量估计结果去除不必要的随机抖动,从而达到图像序列稳定的目的。
本章在着重介绍运动估计和运动补偿这两个模块的同时,也简要介绍了稳像算法的评价准则,为后续章节仿真实验效果的评价提供理论依据。
§3.1运动估计方法分析
运动估计就是结合数字图像处理技术运用某种算法对视频图像进行直接处理,估算出图像序列之间的全局运动偏移量,也即检测出由摄像机抖动而引起的图像变化量。
同时,运动矢量估计的速度、精度和可估计偏移范围决定了稳像算法的实时性,稳像精度以及稳像范围,还将直接影响后续的运动矢量补偿的效果[3]。
下面对常用的运动估计方法进行分析研究。
根据国内外研究人员多年来对图像稳像中帧间运动估计的积极探索,可将运动估计方法分为:
块匹配法、投影法和基于图像特征匹配法等。
下面就分别对上述各运动估计法进行简要介绍,并对比其各自的优缺点。
§3.1.1块匹配法
块匹配法BMA(BlockMatchingAlgorithm)是经典的运动估计方法之一,在各种视频编码中被广泛的应用,研究发展比较完善。
BMA算法是一种非常直观的运动估值算法,它是基于平移运动的机理来进行运动估值的。
该算法不需要对图像序列进行任何预处理,只在原始图像数据上进行运算,因此保留了图像序列中每一帧图像的全部信息
块匹配法的基本原理为:
首先,把当前帧图像分成N个大小相等并且相互之间不具有重叠的子块,并假定子块内每一个像素都做相同的平移运动,具有运动的一致性。
其次,对当前帧图像的每一宏块,在其参考帧中相对应的几何位置周围的一定范围内,通过某种匹配准则在参考帧中进行搜索,寻找当前帧中这些子块的最佳匹配块,并可认为当前宏块位移前的位置即为最佳匹配块在在参考帧中所处的位置,由匹配块与当前子块的相对位置的矢量差值即可得到当前子块在水平和垂直方向上的偏移量。
最后,将各个子块的局部运动矢量采取一定的整合方法得到全局运动矢量进而对当前帧进行补偿,得到稳定后的图像。
虽然块匹配法具有简单易行,可以快速实现的优点。
但其存在的问题有:
第一,块匹配法只适用于由摄像机的平移运动引起的运动偏移,而不能解决摄像机的缩放、旋转和变焦的运动;第二,块匹配法在匹配搜索的时候需要进行大量的数据运算,消耗时间较长。
不论是最基本的全搜索算法,还是后续对搜索路径提出多种改进的其他搜索算法,诸如二维对数法、三步法以及菱形法等。
其匹配准则的计算量仍然巨大,效率低,很难做到对视频序列的实时运动估计。
§3.1.2投影法
投影法PA(ProjectionAlgorithm)是利用图像灰度分布变化的特点来检测图像序列帧间的平移运动,得到图像帧间的全局运动矢量[4]。
灰度投影法与块匹配法的不同之处在于,块匹配法是利用图像的单像素点的灰度信息,通过进行逐点的局部匹配计算,来确定整幅图像的运动矢量,而且在匹配过程中由于受到匹配搜索范围的限制,容易使匹配点陷入局部最优点,从而使运动矢
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视频 技术 研究 实现