一种改进的光流算法概要.docx
- 文档编号:9954254
- 上传时间:2023-02-07
- 格式:DOCX
- 页数:12
- 大小:67.33KB
一种改进的光流算法概要.docx
《一种改进的光流算法概要.docx》由会员分享,可在线阅读,更多相关《一种改进的光流算法概要.docx(12页珍藏版)》请在冰豆网上搜索。
一种改进的光流算法概要
—187—
一种改进的光流算法
杨国亮,王志良,牟世堂,解仑,刘冀伟
(北京科技大学信息工程学院,北京100083
摘要:
光流法是运动图像序列分析的一种重要方法。
该文通过引入前向-后向光流方程,计算其Hessian矩阵,把Hessian矩阵条件数的倒数作为Lucas-Kanade光流法的加权阵,可有效消除局部邻域中不可靠约束点,同时提高基本约束方程解的稳定性。
实验表明该方法相对于其它梯度约束光流法具有更好的可靠性。
关键词:
光流;Hessian矩阵;条件数
AnImprovedOpticalFlowAlgorithm
YANGGuoliang,WANGZhiliang,MUShitang,XIELun,LIUJiwei
(SchoolofInformationEngineering,BeijingUniversityofScience&Technology,Beijing100083
【Abstract】Opticalflowestimationisanimportantmethodtomotionimageanalysis.ThispaperintroducesforwardandbackwardconstraintequationandHessianmatrixforthecomputationofopticalflow.Itexamineswell-posednessofeachpointoflocalneighbourhoodandtheweightofLucas-Kanade’smethodisdefinedasthereciprocaloftheconditioningnumberofitsHessianMatrix.Thiscaneliminatethoseuncertaintyconstrainsandimprovethenumericalstabilityofthesolutionofthegradientconstraintequation.Experimentalresultsshowthatthismethodissuitableandreliable.
【Keywords】Opticalflow;Hessianmatrix;Conditioningnumber
计算机工程ComputerEngineering第32卷第15期
Vol.32№152006年8月
August2006
·人工智能及识别技术·
文章编号:
1000—3428(200615—0187—02
文献标识码:
A
中图分类号:
TP391
运动目标检测是图像处理技术的一个重要组成部分,它
是计算机视觉、模式识别、图像编码和安全监控等研究领域的重点和难点。
现有的运动目标检测方法主要有运动能量法、背景减法、图像差分法和光流法。
运动能量法适合于复杂变化场合,能够粗略地分割出运动目标;背景减法在背景简单的情况下比较有效;而图像差分法则直接比较两帧图像对应象素点的灰度值提取运动信息,计算比较简单。
光流法作为一种重要的运动图像分析方法,在最近20年得到了较大发展,研究者提出了多种不同的改进算法,主要可分为4类[1]:
时空梯度法,块匹配方法,基于能量方法和基于相位分析法,其中时空梯度法最为常见。
1Lucas-Kanade光流法[3]
光流场的计算最初是由Horn和Schunck提出[2]
。
假定t时刻图像上的点,(yx处灰度值为,,(tyxI,在时刻tt∆+时,
这一点运动到,,(ttyyxx∆+∆+∆+,对应的灰度值为
,(ttyyxxI∆+∆+∆+,假定它与,,(tyxI相等,即
,(,,(tyxIttyyxxI=∆+∆+∆+(1将左边在,,(tyx点用泰勒公式展开,忽略二阶和二阶以
上项可以得到
=∂∂+∆∆∂∂+∆∆∂∂t
It
yyIt
xxI记txdtdxtyxu∆∆==,,(;tydtdytyxv∆∆==,,(,则可得到基本光流约束方程:
0=++tyxIvIuI(2
式中x
IIx∂∂=,yIIy∂∂=,t
IIt∂∂=,写成梯度形式为0(=+∇tTIUI。
由于光流场T
vuU,(=有2个变量,而基本约束方程只有
一个,只能求出光流场沿梯度方向的值,因此从基本光流方
程求解光流场是一个不适定问题,必须引入附加的约束条件。
Lucas和Kanade假设在一个小的空间邻域Ω上运动矢量保持恒定,然后使用加权最小二乘法(weighedleast-squares估计光流。
在一个小的空间邻域Ω上,光流估计误差定义为
∑Ω
∈++,(22((yxtyxIvIuIxW(3
其中(2xW表示窗口权重函数,它使邻域中心区域对约束产生的影响比外围区域更大,式(3解为
BWAAWAUTT212(−=(4其中,在t时刻的n个点Ω∈iX,1[(,,(]TnAIXIX=∇∇…,
1[(,,(]nWdiagWXWX=…,1[(,,(]TttnBIXIX=−…
2改进的光流计算方法
传统的光流计算方法主要是基于灰度守恒和光流场的平滑性假设,但这些假设在阴影、边界和遮挡性的地方不再成立,为此,本文提出相应的改进算法。
2.1前向-后向光流方程
考虑方程
0,,(,,(=∆+∆+∆+−ttyyxxItyxI
可以得到
,(,,(ttyyxxItyxI∆+∆+∆+=(5
,(,,(tyyxxIttyxI∆−∆−=∆+(6
基金项目:
北京市现代信息科学与网络技术重点实验室基金资助项目(TDXX0503;北京科技大学重点基金资助项目(20040503990;江西省教育厅科技计划基金资助项目(赣教技字[2005]145
作者简介:
杨国亮(1973—,男,博士生,主研方向:
图像处理,面部表情识别,情感计算;王志良,博士、教授、博导;牟世堂,高工;解仑,博士、副教授;刘冀伟,硕士、副教授收稿日期:
2005-11-09E-mail:
ygliang30@
—188
—对式(5、式(6分别进行泰勒展开并忽略二阶及二阶以上项:
,(,,(,,(=∆∂∂+∆∂∂+∆∂∂tt
tyxIyytyxIxxtyxI0
,(,,(,,(=∆∂∆+∂+∆∂∆+∂+∆∂∆+∂tt
ttyxIyyttyxIxxttyxI即
0=++ttt
ytxIvIuI(7
0=++∆+∆+∆+tttttyttxIvIuI(8
其中:
xtyxIItx
∂∂=,,(,y
tyxIIty∂∂=,,(,ttyxIItt∂∂=,,(
xttyxIIt
tx∂∆+∂=
∆+,,(,y
ttyxIItty∂∆+∂=
∆+,,(,tttyxIIttt∂∆+∂=∆+,,(
式(7、式(8即为前向-后向光流方程,可以合并为一个
新的光流方程:
0'
''=++tyxIvIuI(9
式中:
(1'ttxtxxIIfI∆+=,,(2'ttyty
yIIfI∆+=,,(3'ttttttIIfI∆+=文中取ttxtxxIII∆+−+=1('αα,tty
tyyIII∆+−+=1('αα,ttttttIII∆+−+=1('
αα,
α为一常数,根据性能指标式(3,可求解出光流场,(vu。
2.2Hessian矩阵
尽管Lucas-Kanade光流法计算简单,光流估计精度较高,但它有一个致命缺点,假定邻域Ω内各像素点光流保持恒定,而且光流计算依赖于窗口权重函数,这意味着如果在邻域Ω内存在严重违反光流约束方程的点或邻域Ω运动不连续,将使得估计的光流可靠性严重降低。
为此,本文引入Hessian矩阵判断领域Ω内每点对于基本约束方程的“良态性”。
方程(9分别对yx,求偏导可得:
txyxxxIvIuI−=+
tyyyxyIvIuI−=+(10即⎥⎦⎤⎢⎣⎡−=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡tytxyyxyyxxxIIvuIIII(11定义Hessian矩阵:
⎥⎦
⎤⎢⎣⎡=yyxy
yxxxIIIIH(12
Hessian矩阵的条件数:
|
|||||||||||(minmax1λλ=⋅=−HHHCond,其
中maxλ、minλ分别为Hessian矩阵H的最大特征值和最小特征值,可以通过Hessian矩阵的条件数大小来判断方程(11
解的稳定性,如果Hessian矩阵的条件数很大则方程(11为病态方程,对应的Hessian矩阵秩很小,其解不稳定,计算的光流不可靠;如果Hessian矩阵的条件数接近1,对应的Hessian矩阵秩很大,方程(11为良态,其解鲁棒性较好。
由此可以通过计算Hessian矩阵的条件数来剔除邻域Ω内不可靠点。
2.3梯度阈值处理
在复杂场景运动目标检测中,由于场景和运动目标的灰度梯度可能相差不大,使得运动目标轮廓处于模糊状态,计算的轮廓处光流不准确,也即基本光流约束方程在灰度梯度很小时不成立[4]。
为此引入梯度约束条件,设定灰度梯度阈值T,在灰度梯度大于阈值T的像素点计算光流。
2.4基于Hessian矩阵的光流算法
Hessian矩阵的条件数很好地刻画了线性方程(11解的稳定性,而且条件数越大,对应的Hessian矩阵的秩越小,为此可以先利用Hessian矩阵剔除邻域Ω内不可靠点,并把各点对应条件数的倒数作为该点权重,其算法如下:
(1计算图像中每点的一阶和二阶梯度;
(2分别计算每点对应Hessian矩阵的秩det(H和条件数
(HCond,设定阈值τ,则:
0det((1
det((
fHWXifHCondHττ
⎧<⎪
=⎨≥⎪⎩并对每个邻域Ω内的(XW进行归一化处理;(3采用加权最小二乘法求解式(9光流场,(vu。
3实验结果及分析
为了验证上述算法的有效性,本文采用了1组合成图像
序列和2组真实图像序列进行实验。
其中合成图像序列相邻帧间的真实光流已知,通过采用本文算法对其估计光流,然后与真实光流比较,作出定量评估。
对于光流场TvuV,(=,把它写出一个三维的方向矢量TvuvuV1,,(1
12
2
++=
→
真实光
流cV→
和估计光流eV→
之间的光流角误差可以表示为
arccos(ecEVV→
→⋅=ψ。
平均误差为∑==N
iE
iN
AE1
(1
ψ
式中,N为光流场的像素个数。
光流场标准角偏差定义为
∑=−=
N
iE
AEiN
SD1
2
((1ψ
参照Barron等人[1]的做法,本文亦在估计光流之前,采用了标准差为1.5像素/帧的时空高斯滤波器平滑图像序列,这有助于削弱时间噪声和输入中的量化效应。
图1(a、图1(b分别是TranslatingTrees图像序列的第7、
8帧,该图像序列以1.73~2.26的流速向右运动,运动方向平行于水平轴。
图1(c是利用本文方法计算的第8、9帧之间的光流场,可以看出光流方向基本跟真实光流一致,大小稍有差别,表1给出了本文和其它方法计算的光流平均角误差和标准角偏差的对照。
(a(b(c图1TranslatingTrees序列与光流场
表1对TranslatingTrees序列,本文算法与其它算法比较
算法
流速平均角误差流速标准角偏差
密度
HornandSchunck(original[1]38.72°27.67°100%HornandSchunck(modified[1]2.02°2.27°100%LucasandKanade(λ2>1.0
[1]
0.66°0.67°100%
本文方法0.61°0.62°100%
图2是RubicCube序列实验结果,其中图2(a、图2(b为RubicCube序列中的第9、10帧,图2(c为采用本文方法得到的第9、10帧之间光流场,显然该光流场比较准确地反映了RubicCube图像序列的运动信息。
(下转第226页
—226
—RET
单片机发送子程序:
SEND:
CLRTI
MOVR0,#20H
MOVR2,#04H;数据长LOOP:
MOVA,@R0MOVSBUF,AWAIT:
JBCTI,AARAJMPWAITAAR:
INCR0CLRTIDJNZR2,LOOPRET单片机接收子程序:
RECIEVE:
MOVR1,#30HMOVR3,#04HWAIT1:
JBC
RI,LOOP1AJMPWAIT1
LOOP1:
MOVA,SBUF
MOV@R1,AINCR1CLRRIDJNZR3,WAIT1
;校验帧是否正确,正确,则执行相应的命令相反,发送错误信息
RET……
4结束语
本设计采用数据帧的形式进行数据传输,并且在数据帧中编入了对所传数据的校验和相应的握手协议,有效地保证了串行通信过程中数据的可靠性。
经过实验调试,上、下位机通信数据正确无误,为保证IC卡机油加油机加注系统的安全运行提供了前提。
此外MSComm控件屏蔽了通信过程中的底层操作,在串口编程时非常方便。
在实际进行系统开发时,利用MSComm控件能起到缩短设计周期、增加系统可靠性的作用。
参考文献
1王怀山,邓璐娟.串行通信技术在IC卡售饭系统中的应用[J].自动化与仪表,2001,16(6:
41.
2任卫娟,佘光华.Delphi环境中串口通信的实现[J].四川工业学院学报.2003,22(4:
42.
3崔建华,郭军.Delphi串口通信工程开发实例[M].北京:
人民邮电出版社,2003.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~(上接第188
页
(a(b(c
图2RubicCube图像序列与光流场
(a(b(c
图3愤怒表情图像序列与光流场
第3个测试图像序列来自于卡耐基梅隆大学的人脸表情库(TheCMU-PITTSBURGHAU-CodedFaceExpressionImageDatabase,为一愤怒表情序列图像,图3(a、图3(b分别为该序列的第11、13帧,愤怒表情主要体现在眼睛、眉毛和嘴巴:
眉毛紧皱,上下眼皮紧张,眼睛可能鼓起,上下嘴唇紧闭。
图3(c为其对应的光流场。
从图中可以看出,该光流场基本反映了眼睛、眉毛及嘴巴的运动趋势。
但由于人脸运动
为非刚体运动,其运动过程中发生了变形,导致图像灰度值发生严重变化,因此,相对于刚体运动的光流场估计,非刚体运动光流场估计准确度稍差。
4结论
针对传统的光流计算方法的不足之处,本文提出了一种改进的光流算法。
本算法避免了Lucas-Kanade在领域Ω内存在严重违反光流的方法点或领域Ω运行不连续时,将使得估计的光流可靠性降低这一缺点。
实验测试表明了该算法的有效性。
参考文献
1BarronJL,FleetDJ.PerformanceofOpticalFlowTechniques[J].Int.
JounrnalonComputerVision,1994,12(1:
43-77.
2HornBK,SchunckBG.DeterminingOpticalFlow[J].ArtificalIntelligence,1981,17(1-3:
185-204.
3LucasB,KanadeT.AnIterativeImageRegistrationTechniquewithAnApplicationtoStereoVision[C].Proc.ofDARPAIUWorkshop,1981:
121-130.
4VerriA,PoggioT.MotionFieldandOpticalFlow:
QualitativeProperties[J].IEEETrans.Patt,Anal,Mach.Intel,1989,11(5:
490-498.
图3下位机通信流程
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 改进 算法 概要