本文为 Robin.ly 授权转载，文章版权归原作者所有，转载请联系原作者。

本期Robin.ly CVPR 2019专题访谈特邀国民短视频平台“快手”的西雅图AI实验室和FeDA智能决策实验室主任、美国罗彻斯特大学助理教授刘霁博士，在美国长滩CVPR大会现场分享他在深度学习领域的研究成果、以及带领快手研发团队推动AI技术商业化的实践经历。

刘霁博士的研究领域包括机器学习、优化和强化学习，以及各类数据驱动的应用场景。他对利用技术解决图像分析、游戏人工智能设计、视觉理解等方面的实际问题也很感兴趣。他提出的异步并行算法（Asynchronous Parallel Algorithm）已应用于许多机器学习平台，如Google TensorFlow。2018年，他当选MIT Technology Review评选的“35位35岁以下创新青年”。

下文为Robin.ly主持人Margaret Laffan与刘霁博士的访谈实录。

投身深度学习开发前沿算法

主持人：我知道你是机器学习、优化和强化学习方面的专家。你当初为什么选择机器学习领域，特别是一开始就选择了深度学习优化相关的研究？

刘霁：

机器学习研究的是一种方法论，研究如何解决通用性的数据驱动问题，可以为多种应用问题提供实践工具和方法支持，如计算机视觉、自然语言处理、语音等等。我觉得掌握这些通用的工具和方法论，将来可以做的事情更多，视野可以更大，所以选择了机器学习作为研究方向。

这也是我当初选择深度学习优化这个切入点的原因。希望能参与解决当前最核心同时又相当有挑战的问题。众所周知，深度学习是一项非常强大的技术，目前也非常受欢迎。每天有相当多的研究者在不断的运行深度学习模型。如果我们加快这个过程到原来的十分之一，那么每个人都可以在这项工作中节省90％的时间。所以深度学习优化是一项基础能力，决定了一个公司AI落地以及从算法模型到产品迭代效率。

主持人：我知道你在异步并行算法创新上取得了很多成绩，你开发的技术已经被TensorFlow和PyTorch采用。作为MIT评选的中国35岁以下的创新者之一，你创建了异步去中心并行随机梯度下降算法（asynchronous decentralized parallel stochastic gradient descent algorithm, AD-PSGD）。能介绍一下这个算法对研究开发领域的贡献吗？

刘霁：

我首先想讲一点，优化算法设计研究者和算法实现工程师之间确实存在很大的信息不对等。优化人员理解算法，但他们所了解的关于硬件部署的知识相对有限，因此当他们设计算法时，从实现角度考虑得相对较少，往往只是从收敛性和计算复杂度来指导算法设计。但对于部署工程师，他们需要把算法实现到CPU、GPU甚至FPGA等硬件上，但是在算法方面的知识却可能有限。所以这中间有一个真空地带。我的工作就是努力填补这一空白，进行联合优化，优化算法和硬件、优化性能、优化训练流程。这就是这项工作的目的和主要贡献。

我们在异步和去中心化方面都做的一些先驱性的工作其实就是看到这个真空。希望把真正运行效率当作标准来指导算法设计。异步并行方法能够解决传统同步并行算法中的瓶颈问题，也就是快机需要等待慢机。异步并行方法相比同步的方法有时候要快上一倍以上。另外，我们提出的去中心化并行框架相比于传统中心化的方法，可通过避免额外的计算量来有效缓解信息交通拥堵的情况。异步和去中心化都是加速深度学习训练过程的重要工具，这两种新技术打破了传统的做法，可以让机器学习算法更准确和高效，同时显着降低了同步的成本。目前，这两项技术已逐渐开始广泛应用于主流工具，比如TensorFlow和PyTorch。我们相信这一进步可以填补优化算法和算法实现的间的真空地带，会对整个行业带来更多的推进和收益。

中心化和去中心化图示，图片来源：论文《Asynchronous Decentralized Parallel Stochastic Gradient Descent》

学术界和工业界相辅相成

主持人：你已经担任了五年的助理教授，同时也是公司的研究科学家。你为什么会选择同时跨越学术界和工业界？

刘霁：

很有意思的问题。实际上，很多人都问过我类似的问题。我认为这两个领域的经验对我的职业生涯都非常重要。在学术界，通常是深入地研究一个艰深的学术问题，考验的是在一个点上突破的能力；而在工业界，需要完整的解决一个实际问题，考验的更多是全面的能力和综合素质。这是两种完全不同的体验，对我的成长都具有非凡的意义。

另外值得指出一点就是，学术界通常关心解决一类问题，所以研究的问题讲求通用性和一般性。但是有时候容易脱离实际，学术界解决的问题有时候在工业界看来并不是真正的痛点。而工业界的问题在于过分关注于个体的问题，不重视把具体问题抽象成有价值的研究问题。所以容易出现重复造轮子的现象。

所以学界和业界是两个不同的群体，但他们可以相辅相成。从学术角度来看，我们可以将这个特定问题扩展成一个抽象问题，而这个抽象问题在某些意义上已经在学术界得到了很好的研究，我们可以应用现有技术或开发新技术来解决该问题。与此同时，我们可以帮助业界人士了解工业问题背后的数学基础和原理。但这并不意味着我们从学界学到的技能毫无用处。相反，这些技能有可能发挥非常重要的作用，但这取决于我们如何使用这些技能。我的目标就是尽力让学术界和工业界之间形成一个良好的过渡地带。

AI技术的商业化实践

刘霁在CVPR2019“快手”展示区讲解，图片来源：快手

主持人：我们来谈谈快手。你在2018年底加入快手，在接下来的三到五年里，你和公司都有什么样的计划？

刘霁：

设立快手西雅图lab的初衷是帮助解决公司业务中最重要的、有挑战的问题，同时为公司打造和沉淀核心的AI基础能力，比如像机器学习平台、小样本学习等等。同时有机会也希望开创一些新的业务增长。快手有良好的用户生态。现在的产品种类还不是很丰富，我们的工作重心相对还比较集中。未来三到五年，相信我们的产品矩阵会越来越丰富，每个人都有更大的发挥空间。

从个人的角度来讲，我自己有一套解决问题的方法论。我希望能在接下来的时间里实践和完善我的方法论。更明确一点讲，我是一个以问题为导向，以产品为导向的人。我很了解人工智能技术，但我还不够了解用户，如何合理得定义产品。为了在人工智能技术落地，我想先了解我们的用户，从而设计出最好的产品。我们可以通过设计算法，开发新技术，定义新的概念和流程来达到这个目的。

主持人：你目前在西雅图担任人工智能实验室和FeDA（智能决策）实验室的主任。能给我们介绍一下FeDA实验室的使命和研究重点吗？

刘霁：

正如我前面提到的，设立快手FeDA联合实验室的目的是帮助解决商业化中最重要的、有挑战的的技术问题，例如AI对商业化赋能。商业化是公司去年启动的的一个重大项目，主要是研究如何向用户推荐视频广告，合理地发掘商业价值，最大化用户的体验。我们在快手有两组用户，一组会分享视频，另一组只观看视频，但是这两组人之间存在很大的重叠。公司的原则是同时为这两类人服务。但我们都知道，广告有时可能会损害用户的体验，那么挑战就在于如何最大限度的减少对用户的负面影响，最大化他们的正面体验。所以我们就需要开发更好的算法来进行个性化推荐。这部分也与计算机视觉领域研发人员密切相关。因为在快手，所有广告都是基于视频的。在传统的推荐问题中，需要处理的内容通常是文本或者图片，但是基于视频的新形式需要新技术，需要聘用新员工，这也是我参加各大计算机视觉会议的原因。

用户在CVPR2019现场体验，图片来源：快手

主持人：你谈到了用户体验和用户价值的。我们知道这对于产品创新非常重要。你能从快手的角度介绍一下这一点在产品开发的过程中是如何体现的吗？

刘霁：

快手确实非常关心用户体验。我理解公司将用户体验放在第一位，而商业化是第二位的。从我们的首席执行官和首席技术官到整个公司的每一名员工都达成了这样的共识。因此，无论我们做任何事情，都需要去了解用户体验方面的情况。这是一个复杂的数据分析任务，需要人工智能才能理解。人类是一个非常复杂的系统，使用纯粹或单一理论来解释人类的思维和感受是非常困难的，即便是心理学也不见总能得出正确的结论。我们必须结合不同领域的专业知识来了解我们的用户，这就是为什么我们最近在快手成立了一个新的团队专门进行统计分析。该团队的一个重要目标就是尝试了解人类行为以及对我们的产品是否满意。

主持人：在这个新的岗位上，你是如何管理团队的？你的领导风格是什么？

刘霁：

我认为我的领导风格是动态的，需要适应团队的需要。在某个阶段，比如现在，我的管理风格会更加中心化，因为公司正在成长，我们希望加快增长的速度，所以更需要中心化的管理方式。但我理想的管理方案是去中心化的。就好比教练和球员，球员除了需要与教练沟通，他们之间更需要直接的沟通和协同，才能更高效的发挥团队的力量。

主持人：说得太好了。我们期待你们能一步步实现最终的目标。再次感谢你！

原文链接：

https://www.robinly.info/post/cvpr-2019-ai-talk-prof-ji-liu-director-kuaishou-seattle-ai-lab-feda-lab

创作场景

快手 AI 引擎幕后“推手”刘霁：跨越学界和业界的青年创新领袖