机器学习中常见的几种优化方法Word格式.docx
- 文档编号:17882069
- 上传时间:2022-12-11
- 格式:DOCX
- 页数:7
- 大小:99.34KB
机器学习中常见的几种优化方法Word格式.docx
《机器学习中常见的几种优化方法Word格式.docx》由会员分享,可在线阅读,更多相关《机器学习中常见的几种优化方法Word格式.docx(7页珍藏版)》请在冰豆网上搜索。
常
度法等等。
回到顶部
1.梯度下降法(GradientDescent)
梯度下降法是最早最简单,也是最为常用的最优化方法。
梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解。
一般情况下,其解不保证是全局最优解,梯度下降法的速度也未必是最快的。
梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向,因为该方向为当前位
置的最快下降方向,所以也被称为是”最速下降法“。
最速下索迭代示意图如下图所示:
牛顿法的缺点:
1)靠近极小值时收敛速度减慢,如下图所示;
2)直线搜索时可能会产生一些问题;
3)可能会“之字形”地下降。
从上图可以看出,梯度下降法在接近最优解的区域收敛
速度明显变慢,利用梯度下降法求解需要很多次的迭代。
在机器学习中,基于基本的梯度下降法发展了两种梯度
降方法,分别为随机梯度下降法和批量梯度下降法。
比如对一个线性回归(LinearLogistics)模型,假设下
面的h(x)是要拟合的函数,J(theta)为损失函数,theta是参
数,要迭代求解的值,theta求解出来了那最终要拟合的函征的个数。
1)批量梯度下降法(BatchGradientDescent,BGD)
1)将J(theta)对theta求偏导,得到每个theta对应
的的梯度:
2)由于是要最小化风险函数,所以按每个参数theta
的梯度负方向,来更新每个theta:
3)从上面公式可以注意到,它得到的是一个全局最
优解,但是每迭代一步,都要用到训练集所有的数据,如果
m很大,那么可想而知这种方法的迭代速度会相当的慢。
所以,这就引入了另外一种方法——随机梯度下降。
对于批量梯度下降法,样本个数m,x为n维向量,
次迭代需要把m个样本全部带入计算,迭代一次计算量为
m*n2。
1)上面的风险函数可以写成如下这种形式,损失函
数对应的是训练集中每个样本的粒度,而上面批量梯度下降对应的是所有的训练样本:
2)每个样本的损失函数,对theta求偏导得到对应梯
度,来更新theta:
3)随机梯度下降是通过每个样本来迭代更新一次,
几万条或者几千条的样本,就已经将theta迭代到最优解了,对比上面的批量梯度下降,迭代一次需要用到十几万训练样本,一次迭代不可能最优,如果迭代10次的话就需要遍历训练样本10次。
但是,SGD伴随的一个问题是噪音较BGD
要多,使得SGD并不是每次迭代都向着整体最优化方向。
随机梯度下降每次迭代只使用一个样本,迭代一次计算
量为n2,当样本个数m很大的时候,随机梯度下降迭代次的速度要远高于批量梯度下降方法。
两者的关系可以这样理解:
随机梯度下降方法以损失很小的一部分精确度和增加
定数量的迭代次数为代价,换取了总体的优化效率的提升。
增加的迭代次数远远小于样本的数量。
对批量梯度下降法和随机梯度下降法的总结:
批量梯度下降---最小化所有训练样本的损失函数,使得最终求解的是全局的最优解,即求解的参数是使得风险函数最小,但是对于大规模样本问题效率低下。
随机梯度下降---最小化每条样本的损失函数,虽然不是每次迭代得到的损失函数都向着全局最优方向,但是大的整体的方向是向全局最优解的,最终的结果往往是在全局最优解附近,适用于大规模训练样本情况。
回到顶部牛顿法和拟牛顿法(Newton'
1)牛顿法(Newton'
smethod)
顿法是一种在实数域和复数域上近似求解方程的方
法。
方法使用函数f(X)的泰勒级数的前面几项来寻找方程
(x)
的根。
牛顿法最大的特点就在于它的收敛速度很快。
具体步骤:
首先,选择一个接近函数f(X)零点的X0,计算相应的f
(x0)和切线斜率f
'
(x0)(这里f'
表示函数f
的导数)。
然后我们计算穿过点(x0,f(x0))并且斜率为f'
(x0)的直线和x轴的交点的x坐标,也就是求如下方程的解:
我们将新求得的点的x坐标命名为x1,通常x1会比
x0更接近方程f
(x)=0的解。
因此我们现在可以利用x1开始下一轮迭代。
迭代公式可化简为如下所示:
x0位
已经证明,如果f'
是连续的,并且待求的零点x是孤
立的,那么在零点x周围存在一个区域,只要初始值于这个邻近区域内,那么牛顿法必定收敛。
并且,如果f'
(x)不为0,那么牛顿法将具有平方收敛的性能.粗略的说,这意味着每迭代一次,牛顿法结果的有效数字将增加一倍。
下图为一个牛顿法执行过程的例子。
由于牛顿法是基于当前位置的切线来确定下一次的位
索路径(二维情况)如下图所示:
牛顿法搜索动态示例图:
关于牛顿法和梯度下降法的效率对比:
敛,所以牛顿法就更快。
如果更通俗地说的话,比如你想找
条最短的路径走到一个盆地的最底部,梯度下降法每次只
选择方向时,不仅会考虑坡度是否够大,还会考虑你走了步之后,坡度是否会变得更大。
所以,可以说牛顿法比梯度
降法看得更远一点,能更快地走到最底部。
(牛顿法目光更加长远,所以少走弯路;
相对而言,梯度下降法只考虑了局部的最优,没有全局思想。
)
根据wiki上的解释,从几何上说,牛顿法就是用一个
次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
注:
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
牛顿法的优缺点总结:
优点:
二阶收敛,收敛速度快;
函数的Hessian矩阵的逆矩阵,计算比较复杂。
拟牛顿法是求解非线性优化问题最有效的方法之一,于
20世纪50年代由美国Argonne国家实验室的物理学家
W.C.Davidon所提出来。
Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。
不久R.
Fletcher和M.J.D.Powell证实了这种新的算法远比其他方法快速和可靠,使得非线性优化这门学科在一夜之间突飞猛进。
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂
的Hessian矩阵的逆矩阵的缺陷,它使用正定矩阵来近似
Hessian矩阵的逆,从而简化了运算的复杂度。
拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。
通过测量梯度的变化,构造一个目标函数的模型使之足以产生超线性收敛性。
这类方法大大优于最速下降法,尤其对于困难的问题。
另外,因为拟牛顿法不需要二阶导数的信息,所以有时比牛顿法更为有效。
如今,优化软件中包含了大量的拟牛顿算法用来解决无约束,约束,和大规模的优化问题。
拟牛顿法的基本思想如下。
首先构造目标函数在当前迭
代xk的二次模型:
这里Bk是一个对称正定矩阵,于是我们取这个二次模
型的最优解作为搜索方向,并且得到新的迭代点:
其中我们要求步长ak
满足Wolfe条件。
这样的迭代与牛顿法类似,区别就在于用近似的Hesse矩阵Bk
代替真实的Hesse矩阵。
所以拟牛顿法最关键的地方就是每
步迭代中矩阵Bk
的更新。
现在假设得到一个新的迭代xk+1,并得到一个新的二次模型:
我们尽可能地利用上一步的信息来选取Bk。
具体地,
我们要求
从而得到
法和BFGS算法。
共轭梯度法是介于最速下降法与牛顿法之间的一个方
法,它仅需利用一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点,共轭梯度法不仅是解决大型线性方程组最有用的方法之一,也是解大型非线性最优化最有效的算法之一。
各种优化算法中,共轭梯度法是非常重要的一种。
其优点是所需存储量小,具有步收敛性,稳定性高,而且不需要任何外来参数。
具体的实现步骤请参加wiki百科共轭梯度法。
图为共轭梯度法和梯度下降法搜索最优解的路径对
比示意图:
绿色为梯度下降法,红色代表共轭梯度法
MATLAB代码:
function[x]=conjgrad(A,b,x)r=b-A*x;
p=r;
rsold=r'
*r;
Ap=A*p;
alpha=rsold/(p'
*Ap);
x=x+alpha*p;
r=r-alpha*Ap;
rsnew=r'
ifsqrt(rsnew)&
lt;
1e-10
break;
endp=r+(rsnew/rsold)*p;
rsold=rsnew;
end
启发式方法指人在解决问题时所采取的一种根据经验
规则进行发现的方法。
其特点是在解决问题时,利用过去的经
验,选择已经行之有效的方法,而不是系统地、以确定的步骤
去寻求答案。
启发式优化方法种类繁多,包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。
还有一种特殊的优化算法被称之多目标优化算法,它主
要针对同时优化多个目标(两个及两个以上)的优化问题,这方面比较经典的算法有NSGAII算法、MOEA/D算法以及人工免疫算法等。
这部分的内容会在之后的博文中进行详细总结,敬请期
待。
这部分内容的介绍已经在博客《[Evolutionary
Algorithm]进化算法简介》进行了概要式的介绍,有兴趣的博友可以进行参考(2015.12.13)。
有关拉格朗日乘数法的介绍请见我的另一篇博客:
格朗日乘数法》
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器 学习 常见 优化 方法