稀疏编码最优化编码Word下载.docx
- 文档编号:21084485
- 上传时间:2023-01-27
- 格式:DOCX
- 页数:8
- 大小:279.61KB
稀疏编码最优化编码Word下载.docx
《稀疏编码最优化编码Word下载.docx》由会员分享,可在线阅读,更多相关《稀疏编码最优化编码Word下载.docx(8页珍藏版)》请在冰豆网上搜索。
这篇文章先做一个概述,接着再分别讨论各个解法。
X为一个n为特征向量,可以是一个小波信号,可以是一副图片等。
D为标准化的基础矩阵,由组成元素的基本原子构成,也称为字典。
在信号中可以是不同频率的波形,在图像中可以是构成图像的基本边,角。
X可以由D中和少量原子线性组合而成,及其表示系数为稀疏。
如下:
数学模型
引出稀疏表示的两个基本要求,1是尽可能与原特征相似,2是系数为稀疏。
上式中,我们要求p>
m,根据线性代数的知识我们知道,稀疏系数有无穷多组的解。
根据稀疏的条件,我们可以在所有的可行解中挑出非零元素最少的解,也就是满足稀疏性。
于是得到如下的数学模型:
如果再考虑噪声的话,就得到如下的模型:
目标函数中为零范数约束,是NP难题。
有人做了一个证明,在一定条件下,上述的最优化问题有唯一的解。
Terrytao又证明了,在满足一定条件下,零范数问题与一范数问题是等价的。
于是上述模型转化为:
基于上面的思想,还有各种不同版本的数学模型。
常见模型
我们知道上式为非凸优化问题,常用的解法有:
greedyalgorithm,代表有MatchingPursuit,OrthogonalMatchingPursuit
上式为解不等式约束问题,常用的解法:
LASSO
再写成拉格朗日乘子的形式,如果已知lambda,可用softthresholding方法,常见的还有coordinatedescent,BregmanIteration等;
如果未知lambda,则用Homotopy.
MP算法与OMP算法
稀疏编码的一般最优化公式为:
其中的零范数为非凸优化。
那么如何解这么一个非凸优化问题呢?
其中一个常用的解法就是MP算法。
MP算法
MP算法是一种贪心算法(greedy),每次迭代选取与当前样本残差最接近的原子,直至残差满足一定条件。
求解方法
首先解决两个问题,怎么定义“最接近原子”,怎么计算残差?
选择最接近残差的原子:
MP里定义用向量内积原子与残差的距离,我们用R表示残差,di表示原子,则:
Max[Dist(R,di)]=max[<
R,di>
];
残差更新:
R=R-<
I;
继续选择下一个,直至收敛;
需要注意的是,MP算法中要求字典原子||di||=1,上面的公式才成立。
我们用二维空间上的向量来表示,用如下的图来表述上面的过程:
上图中d1,d2,d3表示归一化的原子,红色向量r表示当前残差;
进过内积计算,<
r,d3>
最大,于是r分解为d3方向以及垂直于d3方向的两个向量(<
d3及r-<
d3),把d3方向的分量(<
d3)加入到已经求得的重构项中,那么绿色向量(r-<
d3)变为新的残差。
再一轮迭代得到如下:
R往d1方向投影分解,绿色向量成为新的残差。
具体算法:
收敛性
从上面的向量图我们可以清楚地看出,k+1的残差Rk+1是k步残差Rk的分量。
根据直角三角形斜边大于直角边,|Rk+1|<
=|Rk|,则算法收敛。
注意事项:
1.上面也讲过,字典的原子是归一化的,也就是||di||=1,因为我们选取max<
时,如果di长度不统一,不能得出最好的投影。
2.如果我们的字典只有两个向量d1,d2,那么MP算法会在这两个向量间交叉迭代投影,也就是f=a1d1+a2d2+a3d1+a4d2+…..;
也就是之前投影过的原子方向,之后还有可能投影。
换句话说,MP的方向选择不是最优的,是次优的。
如下图:
这也是其改进版本OMP要改进的地方。
OMP算法(smit正交化)
也就是正交的MP算法。
MP算法的次最优性来源其残差只与当前投影方向垂直,这样在接下来的投影中,很有可能会再次投影到原来的方向。
于是,在投影时,如果我们使得残差Rk+1与x1-xk+1的所有向量垂直,则可以克服这个问题,如下:
假设我们已经得到了第k步的最优解:
我们要继续更新到第k+1步,目标是得到:
需要注意的是,我们下一步更新时,之前原子的系数也要更新,否则不能满足约束。
于是我们需要求得如何更新之前原子系数,以及如何求得下一个投影方向。
收敛性:
同样根据勾股定理,得到如下:
于是算法收敛。
具体步骤:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 稀疏 编码 优化