mean-shift算法概述文档格式.doc
- 文档编号:14562412
- 上传时间:2022-10-23
- 格式:DOC
- 页数:16
- 大小:1.82MB
mean-shift算法概述文档格式.doc
《mean-shift算法概述文档格式.doc》由会员分享,可在线阅读,更多相关《mean-shift算法概述文档格式.doc(16页珍藏版)》请在冰豆网上搜索。
k表示在这n个样本点中,有k个点落入区域中.
我们可以看到是样本点相对于点的偏移向量,
(1)式定义的MeanShift向量就是对落入区域中的k个样本点相对于点的偏移向量求和然后再平均.从直观上看,如果样本点从一个概率密度函数中采样得到,由于非零的概率密度梯度指向概率密度增加最大的方向,因此从平均上来说,区域内的样本点更多的落在沿着概率密度梯度的方向.因此,对应的,MeanShift向量应该指向概率密度梯度的方向
.
图1,MeanShift示意图
如上图所示,大圆圈所圈定的范围就是,小圆圈代表落入区域内的样本点,黑点就是MeanShift的基准点,箭头表示样本点相对于基准点的偏移向量,很明显的,我们可以看出,平均的偏移向量会指向样本分布最多的区域,也就是概率密度函数的梯度方向.
扩展的MeanShift
核函数
首先我们引进核函数的概念.
定义:
代表一个d维的欧氏空间,是该空间中的一个点,用一列向量表示.的模.表示实数域.如果一个函数存在一个剖面函数,即
(3)
并且满足:
(1)是非负的.
(2)是非增的,即如果那么.
(3)是分段连续的,并且
那么,函数就被称为核函数.
举例:
在MeanShift中,有两类核函数经常用到,他们分别是,
单位均匀核函数:
(4)
单位高斯核函数:
(5)
这两类核函数如下图所示.
图2,(a)单位均匀核函数(b)单位高斯核函数
一个核函数可以与一个均匀核函数相乘而截尾,如一个截尾的高斯核函数为,
(6)
图3显示了不同的值所对应的截尾高斯核函数的示意图.
图3截尾高斯核函数(a)(b)
MeanShift扩展形式
从
(1)式我们可以看出,只要是落入的采样点,无论其离远近,对最终的计算的贡献是一样的,然而我们知道,一般的说来,离越近的采样点对估计周围的统计特性越有效,因此我们引进核函数的概念,在计算时可以考虑距离的影响;
同时我们也可以认为在这所有的样本点中,重要性并不一样,因此我们对每个样本都引入一个权重系数.
如此以来我们就可以把基本的MeanShift形式扩展为:
(7)
其中:
是一个单位核函数
是一个正定的对称矩阵,我们一般称之为带宽矩阵
是一个赋给采样点的权重
在实际应用的过程中,带宽矩阵一般被限定为一个对角矩阵,甚至更简单的被取为正比于单位矩阵,即.由于后一形式只需要确定一个系数,在MeanShift中常常被采用,在本文的后面部分我们也采用这种形式,因此(7)式又可以被写为:
(8)
我们可以看到,如果对所有的采样点满足
(1)
(2)
则(8)式完全退化为
(1)式,也就是说,我们所给出的扩展的MeanShift形式在某些情况下会退化为最基本的MeanShift形式.
MeanShift的物理含义
正如上一节直观性的指出,MeanShift指向概率密度梯度方向,这一节将证明MeanShift向量是归一化的概率密度梯度.在本节我们还给出了迭代MeanShift算法的详细描述,并证明,该算法会收敛到概率密度函数的一个稳态点.
概率密度梯度
对一个概率密度函数,已知d维空间中n个采样点,i=1,…,n,的核函数估计(也称为Parzen窗估计)为,
(9)
其中
是一个赋给采样点的权重
是一个核函数,并且满足
我们另外定义:
核函数的剖面函数,使得 (10);
的负导函数,即,其对应的核函数(11)
概率密度函数的梯度的估计为:
(12)
由上面的定义,,,上式可以重写为
(13)
上式右边的第二个中括号内的那一部分就是(8)式定义的MeanShift向量,第一个中括号内的那一部分是以为核函数对概率密度函数的估计,我们记做,而(9)式定义的我们重新记做,因此(11)式可以重新写为:
(14)
由(12)式我们可以得出,
(15)
(15)式表明,用核函数G在点计算得到的MeanShift向量正比于归一化的用核函数K估计的概率密度的函数的梯度,归一化因子为用核函数G估计的x点的概率密度.因此MeanShift向量总是指向概率密度增加最大的方向.
MeanShift算法
算法步骤
我们在前面已经指出,我们在提及MeanShift向量和MeanShift算法的时候指代不同的概念,MeanShift向量是名词,指的是一个向量;
而MeanShift算法是动词,指的是一个迭代的步骤.我们把(8)式的提到求和号的外面来,可以得到下式,
(16)
我们把上式右边的第一项记为,即
(17)
给定一个初始点,核函数,容许误差,MeanShift算法循环的执行下面三步,直至结束条件满足,
(1).计算
(2).把赋给
(3).如果,结束循环;
若不然,继续执行
(1).
由(16)式我们知道,,因此上面的步骤也就是不断的沿着概率密度的梯度方向移动,同时步长不仅与梯度的大小有关,也与该点的概率密度有关,在密度大的地方,更接近我们要找的概率密度的峰值,MeanShift算法使得移动的步长小一些,相反,在密度小的地方,移动的步长就大一些.在满足一定条件下,MeanShift算法一定会收敛到该点附近的峰值,这一收敛性由下面一小节给出证明.
算法的收敛性证明
我们用,来表示MeanShift算法中移动点的痕迹,由(17)式我们可写为,
(18)
与对应的概率密度函数估计值可表示为,
(19)
下面的定理将证明序列和的收敛性.
定理:
如果核函数有一个凸的,单调递增的剖面函数,核函数由式(10)和(11)定义,则序列和是收敛的.
证明:
由于n是有限的,核函数,因此序列是有界的,所以我们只需要证明是严格递增的的,即要证明,对所有j=1,2,…如果,那么
(20)
不失一般性,我们可以假设,由(19)式和(10)式,我们可以得到
(21)
由于剖面函数的凸性意味着对所有且,有
(22)
因为,上式可以写为,
(23)
结合(21)与(23)式,可以得到,
(24)
由(18)式我们可以得出,
(25)
由于剖面函数是单调递减的,所以求和项,因此,只要(25)式的右边项严格大于零,即.由此可证得,序列收敛
为了证明序列的收敛性,对于,(25)式可以写为
(26)
现在对于标号j,j+1,…,j+m-1,对(26)式的左右两边分别求和,得到
(27)
其中表示对应序列的所有求和项的最小值.
由于收敛,它是一个Cauchy序列,(27)式意味着也是一个Cauchy序列,因此,序列收敛.
MeanShift的应用
从前面关于MeanShift和概率密度梯度的关系的论述,我们可以清楚的看到,MeanShift算法本质上是一个自适应的梯度上升搜索峰值的方法,如下图所示,如果数据集服从概率密度函数f(x),给定一个如图初始点,MeanShift算法就会一步步的移动,最终收敛到第一个峰值点.从这张图上,我们可以看到MeanShift至少有如下三方面的应用:
(1)聚类,数据集中的每一点都可以作为初始点,分别执行MeanShift算法,收敛到同一个点算作一类;
(2)模态的检测,概率密度函数中的一个峰值就是一个模态,MeanShift在峰值处收敛,自然可以找到该模态.(3)最优化,MeanShift可以找到峰值,自然可以作为最优化的方法,MeanShift算法进行最优化的关键是要把最优化的目标转化成MeanShift隐含估计的概率密度函数.
图4.MeanShift算法示意图
MeanShift算法在许多领域获得了非常成功的应用,下面简要的介绍一下其在图像平滑,图像分割以及物体跟踪中的应用,一来说明其强大的生命力,二来使对上文描述的算法有一个直观的了解.
图像平滑与分割
一幅图像可以表示成一个二维网格点上p维向量,每一个网格点代表一个象素,表示这是一个灰度图,表示彩色图,表示一个多谱图,网格点的坐标表示图像的空间信息.我们统一考虑图像的空间信息和色彩(或灰度等)信息,组成一个维的向量,其中表示网格点的坐标,表示该网格点上p维向量特征.
我们用核函数来估计的分布,具有如下形式,
(28)
其中控制着平滑的解析度,C是一个归一化常数.
我们分别用和,i=1,…,n表示原始和平滑后的图像.用MeanShift算法进行图像平滑的具体步
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- mean shift 算法 概述