10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

ImageNet Training in Minutes

  • 2019-11-29
  • 本文字数:995 字

    阅读完需:约 3 分钟

ImageNet Training in Minutes

摘要与介绍


目前,缩短 DNN 的训练时间是一个热点,通用的方法聚焦于开发一种新的训练算法可在保证不损失精确性的前提下增大 batch 的大小,当然这些方法基本都基于数据并行的同步 SGD 进行参数更新。这其中经历了 batch_size 从 1K 到 8K,再增大到 32K 的过程。本文通过 LARS 算法使用 1000 个 cpu 在 11 分钟内完成了 100 个 epoch 的 Imagenet 训练集的训练,模型是 AlexNet,batch 设的是 32K,取的了 58.6%的 accuracy。另外在 resnet50 模型上,通过 64 个 epoch 的训练,在 14 分钟之内取得了 74.9% top-1 test 集的 accuracy 。另外,当 batch_size 大于 16K 时,通过 LARS 算法训练的准确率要高于 Facebook 的一小时训练 imagenet 那篇文章中的结果。如下图:



本文提出的算法使用了两个硬件:Intel Skylake CPU 和 Intel KNL(通用的深度学习加速器)。看到这心凉了,又是硬件在支撑。。。


计算通信比是指模型的计算代价/通信代价,一般计算通信比越高,越容易通过分布式来进行加速。如下表:ResNet50 的计算通信比要高于 AlexNet,所以 ResNet50 的分布式训练加速效果要好。另外大的 batch_size 可以减小通信代价,因为大的 batch 意味着更少轮次的迭代。



本文使用的方法是:LARS + Warmup。


下面具体介绍下 LARS 算法:


标准的 SGD 对于网络的每一层都使用相同的学习率 LR,当学习率很大时,更新的幅度会很大,容易导致发散的情况。这就使得模型在最初阶段对于 weight 的初始化和学习率设置显得十分重要。另外权重与梯度的 L2-norm 比 在不同 weight、layer 见变动很大。



warm-up 方法会在一开始先从小的学习率开始,然后逐步增大到大的学习率。LARS 则会对于每一层使用一个 local 学习率 [公式] :



其中 [公式] 是整体的学习率,[公式]是每一层的学习率,计算方法为:



如果加上 weight decay 参数 [公式] 后,上式可写成:



完整的 LARS 算法为:



实验结果:


这里就贴一个 resnet50 的结果吧,可以看出使用 LARS 算法可以将 batch size 扩展到 32k,另外还可以使用更廉价的芯片进行计算。使用 512 个 Intel KNL 可在 1 个小时内完成训练。512 个 KNL 按照市场价是 120 万美金,远远低于之前 Facebook 的 410 万美金 (32 台 NVIDIA DGX 工作站)。



与其它方法的对比:



参考文献:


https://arxiv.org/pdf/1709.05011.pdf


https://arxiv.org/pdf/1708.03888.pdf


本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/81243154


2019-11-29 08:00832

评论

发布
暂无评论
发现更多内容

食堂打卡系统架构设计文档

Frank Zeng

架构师训练营第一周课堂学习总结

Frank Zeng

c# 之linq——小白入门级

moonlucy

产品经理越来越不值钱了吗?

Neco.W

产品 产品经理

架构师训练营-第一周-学习总结

Anrika

极客大学架构师训练营 架构总结

数据结构与算法之基础入门

shirley

数据结构 算法

架构师训练营-第一周作业

zcj

极客大学架构师训练营

架构师必备技能(灵魂拷问篇)

鲁米

架构师

谈反应式编程在服务端中的应用,数据库操作优化,从20秒到0.5秒

newbe36524

C# Reactive netcore

作为一个架构师,我是不是应该有很多职责?

架构师修行之路

程序员 架构 架构师

【架构师训练营】第一个周课程总结

Mr.hou

极客大学架构师训练营

食堂就餐卡系统设计

鲁米

架构设计

架构师训练营第1周作业——食堂就餐卡系统设计

在野

极客大学架构师训练营

二叉树视频|留美六年毅然归国,85 后技术 VP 金超:我想把工业智能做好

二叉树视频

写作平台 二叉树 年少有为

区块链如何打通征信行业的“任督二脉”?

CECBC

CECBC 区块链技术 征信 数据共享

FPGA

Kevin Z

Facebook缓存技术演进:从单集群到多区域

伴鱼技术团队

架构 系统架构 分布式系统 缓存穿透 cache

作业1 餐卡系统设计

Geek_2e7dd7

系统梳理主流定时器算法实现的差异以及应用

奈学教育

定时器

译-面向前端开发人员的Docker入门指南

费马

Docker Linux 容器 运维 大前端

微服务架构中分布式事务实现方案怎样何取舍【转发】

古月木易

微服务

架构师训练营-第一周学习总结

zcj

极客大学架构师训练营

TOGAF认证自学宝典

涛哥 数字产品和业务架构

架构 企业架构

提高 TCP 性能的方法,你知多少?

小林coding

TCP 性能优化 高并发 网络

架构师训练营-第1课总结-202006-架构设计

👑👑merlan

架构设计 UML #总结#

架构师训练营第一周总结

hifly

软件架构 架构师 极客大学架构师训练营 #总结#

架构师训练营 - 食堂就餐卡系统设计

Pontus

极客大学架构师训练营

架构师训练营-开营

zcj

极客大学架构师训练营

第一周架构师总结

不在调上

架构师训练营第一周学习总结

jiangnanage

架构设计

系统梳理主流定时器算法实现的差异以及应用

古月木易

定时器

ImageNet Training in Minutes_语言 & 开发_Alex-zhai_InfoQ精选文章