流形特征镜头边界检测后处理算法Word下载.docx
- 文档编号:13787183
- 上传时间:2022-10-13
- 格式:DOCX
- 页数:12
- 大小:23.80KB
流形特征镜头边界检测后处理算法Word下载.docx
《流形特征镜头边界检测后处理算法Word下载.docx》由会员分享,可在线阅读,更多相关《流形特征镜头边界检测后处理算法Word下载.docx(12页珍藏版)》请在冰豆网上搜索。
头组(group)、镜头(shot)和关键帧(keyframe)
镜
头是指摄像机从打开到关闭的过程中记录下来的一
组连续的帧图像,它是组成视频的基本物理单位,视
频索引和检索就建立在镜头边界检测的基础上
由于视频后期剪辑制作不同,镜头边界大致分
为两类:
切变(cut)和渐变(gradual)
渐变镜头边界
又分很多种,主要包括淡入淡出(fadein
out)、溶解
(dissolve)和擦变(wipe)
镜头边界的类型能提供更
多高层语义,比如,一段排球比赛中,直播镜头与回
放镜头之间的切换常常使用擦变
检索回放镜头时
可以在擦变镜头中寻找,大大缩小了检索范围
因
此,镜头边界分类对于视频分析与检索有重要价值
文献[2
3]对多种镜头边界检测算法进行了比
较
以往检测算法的要点包括两个方面:
一是特征
(feature)及度量(metric);
二是针对度量的决策算法
特征用来刻画视频流中每一帧的视觉内容特性,可
以是颜色[4]、边缘[5]或者压缩域上的参数[6]
;
度量
用来刻画视频流中帧与帧之间的特征变化,文献[7]
对多种度量进行介绍并比较了它们的性能
决策算
法的任务则是根据度量采取一定策略和算法检测出
镜头边界
在现有的镜头边界检测算法中,采用的特征有
像素值(灰度值或颜色值)、直方图以及MPEG压缩
域上的参数
衡量帧间差异最简单的度量方法是计
算两帧基于像素点的距离,但该方法对运动敏感,容
易造成误检
直方图描述的是图像的全局信息,一
定程度上可以减小运动对检测的影响
由于目前多
数视频采用MPEG压缩标准,直接在压缩域上提取
特征可以提高检测速度,常用的压缩域特征包括DC
图[8]、运动向量、预测宏块数、宏块的类型信息[6]等
现有的针对度量的决策算法包括全局阈值法、自适
应阈值法、双阈值比较法[9]、基于统计的决策算法
全局阈值法对整段视频序列采用一个全局阈值,这
种方法最简单直接,但鲁棒性差,对于不同类型的视
频片段或同类型视频的不同时间片段需要设置不同
的阈值
自适应阈值法利用一个滑动窗口,统计该
窗口内视频的局部特性,根据统计特性设定动态阈
值
以上两种方法适用于检测突变镜头,不能对渐
变镜头进行准确定位
文献[9]提出的双阈值比较
法能够检测出渐变镜头的起始和终止位置,但不能
区分缓变镜头边界的具体类型
本文把视频看做图像在时间轴上展开的一个高
维空间,空间中的各点在时间轴上是局部相关的
镜头发生切换时,高维空间的点呈现特有分布,这种
相关性分布可以看做一个低维的流形嵌入在高维空
间中
我们采用流形学习的方法[10]把它提取出来刻
画不同类型的镜头边界,以这种特征为基础,提出一
种基于学习的镜头边界检测后处理方法
1
镜头边界类型分析
镜头边界的编辑效果有很多种,主要包括切变
和渐变,渐变镜头边界又可以分为溶解、淡入淡出和
擦变
以下给出它们的数学模型ㄴ公式中,S
(x,y,
t)表示镜头发生切换时镜头边界的各帧,
表示镜
头边界的类型,S1(x,y,t)和S2(x,y,t)分别表示
切换前的镜头和切换后的镜头
1)切变:
两_L___謃个镜头直接拼接在一起,对于边界
处两帧,所有像素值发生突然变化
Scut(x,y,t)=
S1(x,y,t),t!
t1,
S2(x,y,t),t>
t1
2)溶解:
镜头S1逐渐变弱,镜头S2逐渐变强,
两个镜头交叠在一起直至变换结束
Sdissolve(x,y,t)=S1(x,y)(
t-t1
T
)+
S2(x,y)(
t2-t
),
式中,t1和t2分别表示溶解变换开始和结束的时
间,T表示镜头变换持续的时间
3)淡入淡出:
淡入是镜头从无到有的过程,淡
出反之
Sfadein(x,y,t)=S(x,y)(
Sfadeout(x,y,t)=S(x,y)(
式中,t1表示淡入开始的时间,t2表示淡出结束的
时间,T表示淡入淡出持续的时间
4)擦变:
镜头S2按某个方向将镜头S1逐渐擦
除
处于变换过程中的某帧图像从空间上来看,一
部分属于镜头S1,一部分属于镜头S2
Swipe(x,y,t)=S1(x,y)f(x,y,t)+
S2(x,y)[1-f(x,y,t)]
擦变有多种类型,包括横向、竖向、对角线、圆形
擦变等,因而引入函数f(x,y,t)来表示擦变规则,
函数的取值为0或者1
由以上分析,各种镜头边界的视觉特征明显不
同,第2节提出的方法能将这种特征有效提取出来
2
镜头边界流形学习
本节给出镜头边界流形提取的详细算法
视频
流可以看做一个高维欧氏空间RfN+1,N为每帧的
像素个数,另外一维是时间
视频中的每帧可以看
做RfN+1空间中的一点,这些点有着局部相关性
在空间RfN+1中,不同类型镜头边界中的各帧对应
的高维空间点有着不同的局部相关性
我们采用流
形学习的方法把这种嵌入在空间Rf
N+1中的局部
结构提取出来,以描述不同的镜头边界
首先给出
流形学习的定义[11]:
定义1
流形学习
令Y是包含在Rfd欧氏空
间的d维域,令f:
Y∀Rfd为一光滑嵌入,其中
N>
d
数据点{yi}Y由某个随机过程生成,经f
映射形成观测空间的数据{xi=f(yi)}Rf
d
一般
称Y为隐空间,{yi}为隐数据
流形学习的目标是
要从观测数据{xi}中重构f和{yi}
我们采用拉普拉斯特征映射的流形学习方法来
发现和重构隐藏在空间RfN+1中的边界流形瑬拉普
1994计算机研究与发展
2006,43(11)
拉斯特征映射是基于局部保序思想来获得高维观测
空间与低维结构的在局部意义下的对应[11]
文献
[10]的实验表明,拉普拉斯特征映射所得到的流形
有很好的聚类和分类效果,这一点正符合本文镜头
后处理算法的需要
以下给出具体的镜头边界流形
的学习算法:
1)抽取局部点集
视频流有时间相关性,因此首先抽取时间轴上
临近的N帧
设k是候选镜头边界上某一帧的帧
号,以k为中心取一个大小为N的窗口,即在k帧
前取(N-1)
2帧,k帧后取(N-1)
2帧
将
窗口中的每一帧作为一个节点,构造加权的帧间关
系图
2)构造帧间关系图
对于Step1中抽取的点集{X1,#,XN},如果
Xi和Xj相关性高,就将节点i和j之间加一条边
加边的方式有两种:
∃
邻接法[参数
%R],如果
&
Xi-Xj&
2<
则将节点i和j之间用边连接起
来;
∋n近邻法[参数n%N],如果i是j的n个最
近邻点之一,或者j是i的n个最近邻点之一,则把
节点i和j连接起来
我们采取的方法是将窗口中
的点两两连线,因为它们在时间轴上相邻,具有较高
的相关性
3)选取权值
帧间关系图中,边的权值选取方法有两种:
∃热
核法[参数t%R],如果节点i和j是相连的,则将
它们的边的权值设置为Wij=e
Xi-Xj&
2
t;
∋简单方
法[没有参数],只要节点i和j相连,就置权值
Wij=1,我们采用的是热核权重
4)特征映射
对于构造好的帧间关系图G,根据边的权重得
到它的邻接矩阵W,由W计算对角矩阵D,
Dii=(jWji,然后得到拉普拉斯矩阵:
L=D-
W,拉普拉斯矩阵L是一个对称、半正定矩阵,它可
以被看做一个定义在图G节点上的操作函数
计算
下式的广义特征值和特征向量:
Lf=Df
(1)
设y0,#,yk-1是式
(1)的特征向量,按对应特
征值从小到大排列,可以证明,y0对应的特征值为
0,向量y0的每个元素都为1
我们取一维向量y1
作为镜头边界的流形结构
经过拉普拉斯特征映射之后得到的特征具有很
好的区分特性
图1给出了4种类型镜头边界以及
非镜头边界的帧间关系图和镜头边界流形
图1(a)
表示帧间关系图,示例图中所取窗口大小为N=
11,颜色越浅表明相似度越高;
图1(b)表示将图1
(a)的帧间关系图做拉普拉斯特征映射之后的流形
结构
可以看出,不同类型的镜头边界以及非镜头
边界,它们的帧间关系图具有不同的特征,拉普拉斯
特征映射之后的镜头边界流形是一维向量,维数更
低,却能更好地区分不同的镜头边界
第4节的实
验结果证明了镜头边界流形的有效性
Fig
1
Featuresforfourshotboundarytypesandnon
boundary
(a)Inter
framegraphand(b)Shotboundarymanifold
图1尠四种类型镜头边界以及非镜头边界的特征图
(a)帧间关系图;
(b)镜头边界流形
3
基于流形特征的后处理算法
第2节提出的镜头边界流形有很好的区分特
性,我们在此基础上提出一种镜头边界检测后处理
算法
首先,进行镜头边界预检测,得到候选的镜头
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 流形 特征 镜头 边界 检测 处理 算法