亚马逊首席科学家李沐:构建深度学习开源生态的努力和思考

发布于:2020 年 7 月 10 日 19:21

亚马逊首席科学家李沐:构建深度学习开源生态的努力和思考

2020 年 7 月 9 日,以“智联世界 共同家园”为主题,以“高端化、国际化、专业化、市场化、智能化”为特色的世界人工智能大会云端峰会开幕。会上集聚了众多全球智能领域最具影响力的科学家和企业家,以及相关政府的领导人,围绕智能领域的技术前沿、产业趋势和热点问题发表演讲和进行高端对话。会议第二天,亚马逊首席科学家李沐在主题为“当 AI 在云端生长”的 AWS 论坛上发表了的演讲。以下为 InfoQ 根据嘉宾演讲进行的内容整理。

内容未经本人确认,由 InfoQ 依据现场视频进行整理,以下为李沐的演讲全文整理。

首先我们今天的报告是基于深度学习,深度学习在 google 趋势中的热度如下图所示:

亚马逊首席科学家李沐:构建深度学习开源生态的努力和思考

在过去 10 年里面我们可以认为从 2012 年 -2015 年是深度学习的开始,几个算法上的突破使得深度学习在研究届得到了应用。2016 年 -2017 年随着资本的介入、媒体的介入,使得深度学习和 AI 被大家知道和报道,2018 年到 2020 年,可以认为是用户趋向于理性的阶段。我们知道了机器学习的一些局限性,我们也看到了深度学习在过去几年在不断地被简化并且成功地应用到工业界的应用上。

深度学习发展的三个阶段

针对上述三个阶段,我们也做过的思考也是不一样的。深度学习的黄金时代是 2012 年到 2015 年。2012 年时,AlexNet 赢下了 ImageNet,这被认为是深度学习热潮的一个开端。AlexNet 跟传统模型不一样的地方在于它有数十层的神经网络,以及它需要用多个 GPU 才能够有效地训练,这两点使得它的开发非常困难。这也导致了大量开发者需要有专有的深度学习框架才能很方便地进行深度学习的开发。当时,我们的第一个尝试是想做一个 Theano,Theano 是一个很早期的神经网络框架,它非常灵活,但是它比较慢。所以我们思考能不能做一个 C++ 版的 Theano 使得它能更快一点。做出来后发现它特别像 Caffe。第二个同时期的项目是 Minerva 想把 NumPy 拓展到 GPU 和自动求导上,使得深度学习能够用 NumPy 来开发。

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

阅读数:1809 发布于:2020 年 7 月 10 日 19:21

评论

发布
暂无评论