Ranger优化器将RAdam与Lookahead这两大新兴成果加以结合，共同构建起一套用于深度学习的优化器。为了证明其功效，我们团队最近利用Ranger优化器捕捉了FastAI全球排行榜上的8项上榜记录（详情见此处）。

作为Ranger优化器的组成部分，Lookahead由Geoffrey Hinton在2019年7月的《LookAhead优化器：前进k步，后退一步（LookAhead optimizer: k steps forward, 1 step back）》论文中首次提出。Lookahead的灵感来自对神经网络损失面的最新理解进展，其提出了一种稳定深度学习训练与收敛速度的全新方法。基于RAdam（Rectified Adam）实现的深度学习方差管理的突破，我发现将RAdam与Lookahead结合在一起，Ranger足以成为一支充满活力的 “梦之队”，甚至比RAdam自身的优化水平更高。

我已经将二者结合成单一Ranger优化器代码库，旨在降低使用难度并整合至FastAI当中。目前，大家可以立即获取Ranger源代码。

Vanilla Adam、SGD以及Look Ahead + Adam/SGD在LSTM上的对比结果（来自LookAhead论文）

RAdam与LookAhead为什么能够实现互补

RAdam可以说是优化器在开始训练时的最佳基础。RAdam利用动态整流器根据方差调整Adam的自适应动量，并有效提供能够根据当前数据集定制的自动预热机制，能够确保训练以扎实的基础顺利迈出第一步。

LookAhead则受到深度神经网络损失面的最新理解进展启发，能够在整个训练期间提供健壮且稳定的突破。

引用LookAhead团队的说法——LookAhead“减少了对广泛超参数调整的需求”，同时实现了“以最小计算开销确保不同深度学习任务实现更快收敛速度。”

因此，二者都在深度学习优化的不同方面带来了突破，而且这种组合具有高度协同性，有望为大家的深度学习结果提供两项最佳改进。如此一来，通过将两项最新突破(RAdam + LookAhead)加以结合，Ranger的整合成果有望为深度学习带来新的发展驱动力，帮助我们进一步追求更稳定且强大的优化方法。

Hinton等人曾表示：“我们凭经验证明，Lookahead能够显著提高SGD与Adam的性能，包括在ImageNet、CIFAR-10/100、神经机器翻译以及Penn Treebank上的默认超参数设置场景之下。”

Lookahead在实际应用中与SGD的前瞻性对比——Lookahead凭借其双重探索设置成功给出更紧密的最小值结果。（来自Lookahead论文）

本文将基于之前的RAdam介绍，解释Lookahead究竟是什么，又是如何通过将RAdam与Lookahead结合至单一优化器Ranger当中，从而获得更高准确率的。这里先简单总结一下，我运行了20轮测试，个人得到了更高的准确率百分比，比目前FastAI排行榜记录高1%：

Ranger首次测试的准确率为93%

FastAI排行榜的20轮测试准确率为92%

更重要的是，任何人都可以利用源代码与相关信息使用Ranger，并检测其是否能够在稳定性与准确率方面为你的深度学习成果带来改善！

下面，我们将深入研究驱动Ranger的两大组件——RAdam与Lookahead：

RAdam (Rectified Adam)是什么

简单对RAdam作个总结：该项目的研究人员调查了自适应动量优化器（Adam、RMSProp等）的机制，发现所有项目都需要进行预热，否则往往会在训练开始时带来糟糕的局部优化状态。

当优化器没有足够的数据来做出准确的自适应动量决策时，我们就会看到这些在训练初始阶段出现的糟糕表现。因此，预热有助于降低训练起步阶段时的差异……但即使已经确定了预热量需求，我们仍然需要手动调整并根据具体数据集的不同进行微调。

因此，Rectified Adam应运而生，旨在利用基于所遇到的实际方差的整流函数确定“预热启发式”。整流器会以动态形式对自适应动量进行关闭及“压实”，确保其不会全速跳跃，直到数据的方差稳定下来。

通过这种方式，我们就顺利摆脱了手动预热的需求并能够使训练过程自动实现稳定。

一旦方差稳定下来，RAdam在余下的训练过程中基本上充当着Adam甚至是SGD的作用。因此，可以看到RAdam的贡献主要在于训练的开始阶段。

读者朋友可能会在结果部分注意到，虽然RAdam在很长一段时间内的表现优于Adam……但SGD最终仍会迎头赶上，并在准确率方面成功超越RAdam与Adam。

在这方面，是时候请出LookAhead了，我们将其整合至一种新的探索机制当中，最终能够在超高轮数（甚至上千轮）的情况下继续保持对SGD的准确率优势。

Lookahead：探索损失面的辅助系统，带来更快且更稳定的探索与收敛效果

根据Lookahead的研究人员们所言，目前大多数成功的优化器都建立在SGD基础之上，同时加入：自适应动量（Adam、AdaGrad）或者一种加速形式（Nesterov动量或者Polyak Heavy Ball）以改善探索与训练过程，并最终收敛。

但是，Lookahead是一种新型开发成果，其会保留两组权重而后在二者之间进行插值，从而推动更快权重集的“前瞻”或者探索，同时让较慢的权重集留在后面以维持长期稳定性。

结果就是，训练期间的方差有所降低，对次优超参数的敏感性下降，同时减少了对广泛超参数调整的需求。这种作法能够在多种深度学习任务之上实现更快收敛。换言之，这为我们带来了令人印象深刻的重大突破。

通过简单的类比，相信大家能够更好地理解Lookahead的作用。想象一下，我们身处山脉的顶端，而周边的峰峦则各有高低。其中一座最终延至山脚下构成了成功的通道，但其它则只是绕来绕去，无法帮助我们走到山脚。

亲自进行探索当然非常困难，因为我们在选定一条路线的同时，总会同时放弃其它路线，直到最终找到正确的通路。

但是，我们在山顶或者靠近山顶的位置留下一位伙伴，其会在情况看起来不妙时及时把我们唤回。这能帮助我们在寻找出路的时候快速取得进展，因为全部地形的探索速度将更快，而且被卡在死路中的可能性也更低。

Lookahead的意义基本上就是这样。它会保留一个额外的权重副本，而后让内化得“更快”的优化器（在Ragner中，即RAdam）进行5或6轮探索。轮处理间隔通过k参数进行指定。

LookAhead随后，一旦k间隔触发，Lookahead就会在其保存的权重与RAdam的最新权重之间进行差值相乘，并在每k个轮次乘以alpha参数（默认情况下为.5），同时更新RAdam的权重。

Ranger代码显示，Lookahead会更新RAdam的参数

结果实际上来自内部优化器（在本示例中为RAdam）的快速移动平均值以及通过Lookahead的慢速移动平均值。快速平均值进行探索，慢速平均值则作为回撤或者稳定机制——一般来说，慢速平均值负责垫后，但有时候也会将快速平均值“压实”为正确概率更高的结果。

凭借Lookahead提供的安全性保障，优化器能够充分探索下山路径，而不再需要担心卡在死胡同中进退两难。

这种方法与目前的两种主流机制完全不同——即自适应动量以及“重球（heavy ball）”Nesterov型动量。

因此，由于训练稳定性提到显著提高，Lookahead能够更快结束探索并实现“压实”，最终获得超越SGD的准确率结果。

Ranger：一套利用RAdam与Lookahead的单一优化器整合代码库

Lookahead能够与任意优化器共同运行以获取“快速”权重——论文当中使用的是初版Adam，因为RAdam在一个月前才刚刚诞生。

LookAhead的PyTorch集成 (lonePatient实现)

然而，为了便于同FastAI进行代码集成并实现更为广泛的应用，我进一步将二者合并为一款名为Ranger的单一优化器（Ranger中的RA是为了致敬Rectified Adam；而之所以选择Ranger，是因为LookAhead的作用就像是在迷途时探索出路，如同「游侠」一般）。

上图为我个人在ImageNette上得到的20轮测试最高分数——这实际上也是我第一次使用Ranger。（目前的排行榜为92%。）另外需要注意，训练过程的稳定性也有所改善。

马上使用Ranger！

目前GitHub上已经有多种Lookahead实现，我从LonePatient开始，因为我喜欢它简洁的代码风格，并以此为基础进行构建。至于Radam，当然使用了来自官方的RAdam GitHub代码库。
Ranger的源文件如下：

https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer

使用指南：
1 — 将ranger.py复制至你的项目目录。
2 — 导入Ranger:

导入Ranger即可使用。

3 — 在FastAI当中创建一个分区以供Ranger使用，而后将学习方的opt_func指定该分区。

4 — 开始测试！

LookAhead参数：

k parameter :— 用于控制在合并Lookahead权重之前需要运行的轮次数。常见的默认值为5或6，我认为论文当中可能使用了20轮。
alpha = 用于控制更新所使用的Lookahead方差的百分比。默认值为.5。Hinton等人对.5的合理性做出了强证明，但可能还需要进行简单测试。

论文中还提到了后续的猜测，即可能可以根据训练进展的程度将k或alpha纳入调整范畴。

根据此前RAdam文章的反馈，我打算尽快发布一份notebook，帮助大家快速将Ranger与ImageNet或者其它数据集配合使用，从而进一步降低Ranger/RAdam/Lookahead的使用门槛。

总结

两支彼此独立的研究团队，为实现深度学习的快速稳定优化算法做出了新的突破性贡献。我发现通过将RAdam与Lookaheaad加以结合，能够打造出协同优化器Ranger，并最终在ImageNet的20轮测试中取得新的最高分。

后续，我还需要进一步测试以优化Lookahead与RAdam的k参数与学习率。不过即使着眼于当下，Lookahead与RAdam已经足以减少手动超参数调整量，因此应该能够为大家提供新的训练结果优化途径。

Ranger源代码目前已经正式发布，大家可以点击此处体验RAdam加Lookahead这个新组合能否进一步提升你的深度学习效果！

进一步测试表明，使用Ranger加上新的Mish激活函数（而非ReLU）能够产生更好的结果。关于Mish的细节信息请参阅：

https://medium.com/@lessw/meet-mish-new-state-of-the-art-ai-activation-function-the-successor-to-relu-846a6d93471f

相关链接：

本示例中使用的Lookahead实现来自LonePatient：
https://github.com/lonePatient/lookahead_pytorch/blob/master/optimizer.py

RAdam代码(PyTorch):
https://github.com/LiyuanLucasLiu/RAdam

相关论文链接：

LookAhead (Zhang, Lucas, Hinton, Ba ) — “Lookahead Optimizer: k steps forward, 1 step back”

RAdam (Liu, Jiang, He, Chen, Liu, Gao, Han) — “On the Variance of the Adaptive Learning Rate and Beyond”

原文链接：

https://medium.com/@lessw/new-deep-learning-optimizer-ranger-synergistic-combination-of-radam-lookahead-for-the-best-of-2dc83f79a48d

创作场景

最强深度学习优化器 Ranger 开源：RAdam+LookAhead 强强结合，性能更优速度更快