从梯度下降到 Adam！一文看懂各样神经网络优化算法-天涯论坛

l14107cb 发表于 2024-8-31 00:35:27

从梯度下降到 Adam！一文看懂各样神经网络优化算法

Datawhale干货 
编译：王小新，源自：量子位
在调节模型更新权重和偏差参数的方式时，你是不是思虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam办法？

这篇文案介绍了区别优化算法之间的重点区别，以及怎样选取最佳的优化办法。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">什么是优化算法？</h1>
优化算法的功能，是经过改善训练方式，来最小化(或最大化)损失函数E(x)。
模型内部有些参数，是用来计算测试集中目的值Y的真实值和预测值的偏差程度的，基于这些参数，就形成为了损失函数E(x)。
例如说，权重(W)和偏差(b)便是这般的内部参数，通常用于计算输出值，在训练神经网络模型时起到重点功效。
在有效地训练模型并产生准确结果时，模型的内部参数起到了非常重要的功效。这亦是为何咱们应该用各样优化策略和算法，来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值。
优化算法分为两大类：
1. 一阶优化算法
这种算法运用各参数的梯度值来最小化或最大化损失函数E(x)。最常用的一阶优化算法是梯度下降。
函数梯度：导数dy/dx的多变量表达式，用来暗示y相针对x的瞬时变化率。常常为了计算多变量函数的导数时，会用梯度取代导数，并运用偏导数来计算梯度。梯度和导数之间的一个重点区别是函数的梯度形成为了一个向量场。
因此呢，对单变量函数，运用导数来分析；而梯度是基于多变量函数而产生的。更加多理论细节在这儿再也不进行仔细解释。
2. 二阶优化算法
二阶优化算法运用了二阶导数(亦叫做Hessian办法)来最小化或最大化损失函数。因为二阶导数的计算成本很高，因此这种办法并无广泛运用。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">详解各样神经网络优化算法</h1>
<h2 style="color: black; text-align: left; margin-bottom: 10px;">梯度下降</h2>
在训练和优化智能系统时，梯度下降是一种最重要的技术和基本。梯度下降的功能是：
经过寻找最小值，掌控方差，更新模型参数，最后使模型收敛。
网络更新参数的公式为：θ=θ−η×∇(θ).J(θ) ，其中η是学习率，∇(θ).J(θ)是损失函数J(θ)的梯度。
这是在神经网络中最常用的优化算法。
如今，梯度下降重点用于在神经网络模型中进行权重更新，即在一个方向上更新和调节模型的参数，来最小化损失函数。
2006年引入的反向传播技术，使得训练深层神经网络作为可能。反向传播技术是先在前向传播中计算输入信号的乘积及其对应的权重，而后将激活函数功效于这些乘积的总和。这种将输入信号转换为输出信号的方式，是一种对繁杂非线性函数进行建模的重要手段，并引入了非线性激活函数，使得模型能够学习到几乎任意形式的函数映射。而后，在网络的反向传播过程中回传关联误差，运用梯度下降更新权重值，经过计算误差函数E相针对权重参数W的梯度，在损失函数梯度的相反方向上更新权重参数。
<img src="https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtB6zUnEhyibO3XJk6N5DqrmaVSGibibBx12WcumRgxJz95rrXHpmtFJoTjL5GRUFmTfKfMHT4zWL9wPw/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">图1：权重更新方向与梯度方向相反
图1表示了权重更新过程与梯度矢量误差的方向相反，其中U形曲线为梯度。要重视到，当权重值W太小或太大时，会存在很强的误差，需要更新和优化权重，使其转化为合适值，所以咱们试图在与梯度相反的方向找到一个局部最优值。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">梯度下降的变体</h2>
传统的批量梯度下降将计算全部数据集梯度，但只会进行一次更新，因此呢在处理大型数据集时速度很慢且难以掌控，乃至引起内存溢出。
权重更新的快慢是由于学习率η决定的，并且能够在凸面误差曲面中收敛到全局最优值，在非凸曲面中可能趋于局部最优值。
运用标准形式的批量梯度下降还有一个问题，便是在训练大型数据集时存在冗余的权重更新。
标准梯度下降的以上问题在随机梯度下降办法中得到认识决。
1. 随机梯度下降(SDG)
随机梯度下降（Stochastic gradient descent，SGD）对每一个训练样本进行参数更新，每次执行都进行一次更新，且执行速度更快。
θ=θ−η⋅∇(θ) × J(θ;x(i);y(i))，其中x(i)和y(i)为训练样本。
频繁的更新使得参数间拥有高方差，损失函数会以区别的强度波动。这实质上是一件好事，由于它有助于咱们发掘新的和可能更优的局部最小值，而标准梯度下降将只会收敛到某个局部最优值。
但SGD的问题是，因为频繁的更新和波动，最后将收敛到最小限度，并会因波动频繁存在超调量。
虽然已然显示，当缓慢降低学习率η时，标准梯度下降的收敛模式与SGD的模式相同。
<img src="https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtB6zUnEhyibO3XJk6N5DqrmahcNYXib4j1Cn7HI5nR6xriar5Rb7LdN9xdKzYId5ob1Sdr7YZkST0Mjw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">图2：每一个训练样本中高方差的参数更新会引起损失函数大幅波动，因此呢咱们可能没法得到给出损失函数的最小值。
另一种叫作为“小批量梯度下降”的变体，则能够处理高方差的参数更新和不稳定收敛的问题。
2. 小批量梯度下降
为了避免SGD和标准梯度下降中存在的问题，一个改进办法为小批量梯度下降（Mini Batch Gradient Descent），由于对每一个批次中的n个训练样本，这种办法只执行一次更新。
运用小批量梯度下降的优点是：
1)能够减少参数更新的波动，最后得到效果更好和更稳定的收敛。
2) 还能够运用最新的深层学习库中通用的矩阵优化办法，使计算小批量数据的梯度更加有效。
3) 一般来讲，小批量样本的体积范围是从50到256，能够按照实质问题而有所区别。
4) 在训练神经网络时，一般都会选取小批量梯度下降算法。
这种办法有时候还是被作为SGD。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">运用梯度下降及其变体时面临的挑战</h2>
1.很难选取出合适的学习率。太小的学习率会引起网络收敛过于缓慢，而学习率太大可能会影响收敛，并引起损失函数在最小值上波动，乃至显现梯度发散。
2. 另外，相同的学习率并不适用于所有的参数更新。倘若训练集数据很稀疏，且特征频率非常区别，则不该该将其所有更新到相同的程度，然则针对很少显现的特征，应运用更大的更新率。
3.在神经网络中，最小化非凸误差函数的另一个关键挑战是避免陷于多个其他局部最小值中。实质上，问题并非源于局部极小值，而是来自鞍点，即一个维度向上倾斜且另一维度向下倾斜的点。这些鞍点一般被相同误差值的平面所包裹，这使得SGD算法很难脱离出来，由于梯度在所有维度上接近于零。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">进一步优化梯度下降</h2>
此刻咱们要讨论用于进一步优化梯度下降的各样算法。
1. 动量
SGD办法中的高方差振荡使得网络很难稳定收敛，因此有科研者提出了一种叫作为动量（Momentum）的技术，经过优化关联方向的训练和弱化无关方向的振荡，来加速SGD训练。换句话说，这种新办法将上个过程中更新向量的分量’γ’添加到当前更新向量。
V(t)=γV(t−1)+η∇(θ).J(θ)
最后经过θ=θ−V(t)来更新参数。
动量项γ一般设定为0.9，或相近的某个值。
这儿的动量与经典理学学中的动量是一致的，就像从山上投出一个球，在下落过程中收集动量，小球的速度持续增多。
在参数更新过程中，其原理类似：
1) 使网络能更优和更稳定的收敛；
2) 减少振荡过程。
当其梯度指向实际移动方向时，动量项γ增大；当梯度与实质移动方向相反时，γ减小。这种方式寓意着动量项只对关联样本进行参数更新，减少了不必要的参数更新，从而得到更快且稳定的收敛，亦减少了振荡过程。
2. Nesterov梯度加速法
一位名叫Yurii Nesterov科研员，认为动量办法存在一个问题：
倘若一个滚下山坡的球，茫然沿着斜坡下滑，这是非常不合适的。一个更聪明的球应该要重视到它将要去哪，因此呢在上坡再次向上倾斜时小球应该进行减速。
实质上，当小球达到曲线上的最低点时，动量相当高。因为高动量可能会引起其完全地错失最小值，因此呢小球不晓得何时进行减速，故继续向上移动。
Yurii Nesterov在1983年发布了一篇关于处理动量问题的论文，因此呢，咱们把这种办法叫做Nestrov梯度加速法。
在该办法中，他提出先按照之前的动量进行大步跳跃，而后计算梯度进行校正，从而实现参数更新。这种预更新办法能防止大幅振荡，不会错失最小值，并对参数更新更加敏锐。
Nesterov梯度加速法（NAG）是一种赋予了动量项预知能力的办法，经过运用动量项γV(t−1)来更改参数θ。经过计算θ−γV(t−1)，得到下一位置的参数近似值，这儿的参数是一个粗略的概念。因此呢，咱们不是经过计算当前参数θ的梯度值，而是经过关联参数的大致将来位置，来有效地预知将来：
V(t)=γV(t−1)+η∇(θ)J( θ−γV(t−1) )，而后运用θ=θ−V(t)来更新参数。
此刻，咱们经过使网络更新与误差函数的斜率相适应，并依次加速SGD，亦可按照每一个参数的重要性来调节和更新对应参数，以执行更大或更小的更新幅度。
3. Adagrad办法
Adagrad办法是经过参数来调节合适的学习率η，对稀疏参数进行大幅更新和对频繁参数进行小幅更新。因此呢，Adagrad办法非常适合处理稀疏数据。
在时间步长中，Adagrad办法基于每一个参数计算的过往梯度，为区别参数θ设置区别的学习率。
先前，每一个参数θ(i)运用相同的学习率，每次会对所有参数θ进行更新。在每一个时间步t中，Adagrad办法为每一个参数θ选择区别的学习率，更新对应参数，而后进行向量化。为了简单起见，咱们把在t时刻参数θ(i)的损失函数梯度设为g(t,i)。
<img src="https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtB6zUnEhyibO3XJk6N5Dqrma2lwfpeJdic6hfaY0vJzEWap9VE9rXT9fe5dVE0W1G58gXvO3HrZQdjg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">图3：参数更新公式
Adagrad办法是在每一个时间步中，按照过往已计算的参数梯度，来为每一个参数θ(i)修改对应的学习率η。
Adagrad办法的重点好处是，不需要手工来调节学习率。大都数参数运用了默认值0.01，且保持不变。
Adagrad办法的重点缺点是，学习率η总是在降低和衰减。
由于每一个附加项都是正的，在分母中累积了多个平方梯度值，故累积的总和在训练时期保持增长。这反过来又引起学习率下降，变为很小数量级的数字，该模型完全停止学习，停止获取新的额外知识。
由于随着学习速度的越来越小，模型的学习能力快速降低，况且收敛速度非常慢，需要很长的训练和学习，即学习速度降低。
另一个叫做Adadelta的算法改善了这个学习率持续衰减的问题。
4. AdaDelta办法
这是一个AdaGrad的延伸办法，它倾向于处理其学习率衰减的问题。Adadelta不是累积所有之前的平方梯度，而是将累积之前梯度的窗口限制到某个固定体积w。
与之前无效地存储w先前的平方梯度区别，梯度的和被递归地定义为所有先前平方梯度的衰减平均值。做为与动量项类似的分数γ，在t时刻的滑动平均值Eg²仅仅取决于先前的平均值和当前梯度值。
Eg²=γ.Eg²+(1−γ).g²(t)，其中γ设置为与动量项相近的值，约为0.9。
Δθ(t)=−η⋅g(t,i).
θ(t+1)=θ(t)+Δθ(t)
<img src="https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtB6zUnEhyibO3XJk6N5Dqrma9fTFlURibKPA4REq9iafVwzrvOoytb0xmntLH3JSFUn2t6zPrXQjsU0A/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">图4：参数更新的最后公式
AdaDelta办法的另一个优点是，已然不需要设置一个默认的学习率。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">日前已完成的改进</h2>
1) 为每一个参数计算出区别学习率；
2) 亦计算了动量项momentum；
3) 防止学习率衰减或梯度消失等问题的显现。
<h2 style="color: black; text-align: left; margin-bottom: 10px;">还能够做什么改进？</h2>
在之前的办法中计算了每一个参数的对应学习率，然则为何不计算每一个参数的对应动量变化并独立存储呢？这便是Adam算法提出的改良点。
Adam算法
Adam算法即自适应时刻估计办法（Adaptive Moment Estimation），能计算每一个参数的自适应学习率。这个办法不仅存储了AdaDelta先前平方梯度的指数衰减平均值，况且保持了先前梯度M(t)的指数衰减平均值，这一点与动量类似：
M(t)为梯度的第1时刻平均值，V(t)为梯度的第二时刻非中心方差值。
<img src="https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtB6zUnEhyibO3XJk6N5Dqrmadicibibvp3ejofTiconQ4k2Jefxho1KscYw2jt6qShibDXapiaUfYibcCE3hw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">图5：两个公式分别为梯度的第1个时刻平均值和第二个时刻方差
则参数更新的最后公式为：
<img src="https://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtB6zUnEhyibO3XJk6N5DqrmaKdWCB5iaAO7W97PjB6XUkeNMTY4uI76qehH0icKxdlicjmXIgj4bjv2fg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">图6：参数更新的最后公式
其中，β1设为0.9，β2设为0.9999，ϵ设为10-8。
在实质应用中，Adam办法效果良好。与其他自适应学习率算法相比，其收敛速度更快，学习效果更为有效，况且能够纠正其他优化技术中存在的问题，如学习率消失、收敛过慢或是高方差的参数更新引起损失函数波动很强等问题。
对优化算法进行可视化
<img src="https://mmbiz.qpic.cn/mmbiz_gif/YicUhk5aAGtB6zUnEhyibO3XJk6N5DqrmaqvK2Pl9ds2GG1EwGt2jiciaPCoLgl1oNaPJCGFtia9OR2iaalIpnMQuVSQ/640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1" style="width: 50%; margin-bottom: 20px;">图7：对鞍点进行SGD优化
从上面的动画能够看出，自适应算法能火速收敛，并快速找到参数更新中正确的目的方向；而标准的SGD、NAG和动量项等办法收敛缓慢，且很难找到正确的方向。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">结论</h1>
咱们应该运用哪种优化器？
在构建神经网络模型时，选取出最佳的优化器，以便快速收敛并正确学习，同期调节内部参数，最大程度地最小化损失函数。
Adam在实质应用中效果良好，超过了其他的自适应技术。
倘若输入数据集比较稀疏，SGD、NAG和动量项等办法可能效果欠好。因此呢针对稀疏数据集，应该运用某种自适应学习率的办法，且另一好处为不需要人为调节学习率，运用默认参数就可能得到最优值。
倘若想使训练深层网络模型快速收敛或所构建的神经网络较为繁杂，则应该运用Adam或其他自适应学习速率的办法，由于这些办法的实质效果更优。
期盼你能经过这篇文案，很好地理解区别优化算法间的特性差异。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">关联链接：</h1>
二阶优化算法：https://web.stanford.edu/class/msande311/lecture13.pdf

Nesterov梯度加速法：http://cs231n.github.io/neural-networks-3/
<img src="https://mmbiz.qpic.cn/mmbiz_png/vI9nYe94fsGxu3P5YibTO899okS0X9WaLmQCtia4U8Eu1xWCz9t8Qtq9PH6T1bTcxibiaCIkGzAxpeRkRFYqibVmwSw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
干货学习，点赞三连↓

b1gc8v 发表于 2024-9-26 07:50:08

楼主的文章非常有意义，提升了我的知识水平。

b1gc8v 发表于 2024-9-30 18:57:53

你说得对，我们一起加油，未来可期。

qzmjef 发表于 2024-10-14 05:39:07

外链发布论坛学习网络优化SEO。

qzmjef 发表于 2024-11-10 08:33:25

感谢你的精彩评论，带给我新的思考角度。

j8typz 发表于 3 天前

对于这个问题，我有不同的看法...

页: [1]

天涯论坛's Archiver

从梯度下降到 Adam！一文看懂各样神经网络优化算法