“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

快手 AI 引擎幕后“推手”刘霁:跨越学界和业界的青年创新领袖

  • 2019-07-22
  • 本文字数:3574 字

    阅读完需:约 12 分钟

快手AI引擎幕后“推手”刘霁:跨越学界和业界的青年创新领袖

本文为 Robin.ly 授权转载,文章版权归原作者所有,转载请联系原作者。


本期Robin.ly CVPR 2019 专题访谈特邀国民短视频平台“快手”的西雅图 AI 实验室和 FeDA 智能决策实验室主任、美国罗彻斯特大学助理教授刘霁博士,在美国长滩 CVPR 大会现场分享他在深度学习领域的研究成果、以及带领快手研发团队推动 AI 技术商业化的实践经历。


刘霁博士的研究领域包括机器学习、优化和强化学习,以及各类数据驱动的应用场景。他对利用技术解决图像分析、游戏人工智能设计、视觉理解等方面的实际问题也很感兴趣。他提出的异步并行算法(Asynchronous Parallel Algorithm)已应用于许多机器学习平台,如 Google TensorFlow。2018 年,他当选 MIT Technology Review 评选的“35 位 35 岁以下创新青年”。


下文为 Robin.ly 主持人 Margaret Laffan 与刘霁博士的访谈实录。

投身深度学习 开发前沿算法

主持人:我知道你是机器学习、优化和强化学习方面的专家。你当初为什么选择机器学习领域,特别是一开始就选择了深度学习优化相关的研究?


刘霁:


机器学习研究的是一种方法论,研究如何解决通用性的数据驱动问题,可以为多种应用问题提供实践工具和方法支持,如计算机视觉、自然语言处理、语音等等。我觉得掌握这些通用的工具和方法论,将来可以做的事情更多,视野可以更大,所以选择了机器学习作为研究方向。


这也是我当初选择深度学习优化这个切入点的原因。希望能参与解决当前最核心同时又相当有挑战的问题。众所周知,深度学习是一项非常强大的技术,目前也非常受欢迎。每天有相当多的研究者在不断的运行深度学习模型。如果我们加快这个过程到原来的十分之一,那么每个人都可以在这项工作中节省 90%的时间。所以深度学习优化是一项基础能力,决定了一个公司 AI 落地以及从算法模型到产品迭代效率。


主持人:我知道你在异步并行算法创新上取得了很多成绩,你开发的技术已经被 TensorFlow 和 PyTorch 采用。作为 MIT 评选的中国 35 岁以下的创新者之一,你创建了异步去中心并行随机梯度下降算法(asynchronous decentralized parallel stochastic gradient descent algorithm, AD-PSGD)。能介绍一下这个算法对研究开发领域的贡献吗?


刘霁:


我首先想讲一点,优化算法设计研究者和算法实现工程师之间确实存在很大的信息不对等。优化人员理解算法,但他们所了解的关于硬件部署的知识相对有限,因此当他们设计算法时,从实现角度考虑得相对较少,往往只是从收敛性和计算复杂度来指导算法设计。但对于部署工程师,他们需要把算法实现到 CPU、GPU 甚至 FPGA 等硬件上,但是在算法方面的知识却可能有限。所以这中间有一个真空地带。我的工作就是努力填补这一空白,进行联合优化,优化算法和硬件、优化性能、优化训练流程。这就是这项工作的目的和主要贡献。


我们在异步和去中心化方面都做的一些先驱性的工作其实就是看到这个真空。希望把真正运行效率当作标准来指导算法设计。异步并行方法能够解决传统同步并行算法中的瓶颈问题,也就是快机需要等待慢机。异步并行方法相比同步的方法有时候要快上一倍以上。另外,我们提出的去中心化并行框架相比于传统中心化的方法,可通过避免额外的计算量来有效缓解信息交通拥堵的情况。异步和去中心化都是加速深度学习训练过程的重要工具,这两种新技术打破了传统的做法,可以让机器学习算法更准确和高效,同时显着降低了同步的成本。目前,这两项技术已逐渐开始广泛应用于主流工具,比如 TensorFlow 和 PyTorch。我们相信这一进步可以填补优化算法和算法实现的间的真空地带,会对整个行业带来更多的推进和收益。



中心化和去中心化图示,图片来源:论文《Asynchronous Decentralized Parallel Stochastic Gradient Descent》

学术界和工业界相辅相成

主持人:你已经担任了五年的助理教授,同时也是公司的研究科学家。你为什么会选择同时跨越学术界和工业界?


刘霁:


很有意思的问题。实际上,很多人都问过我类似的问题。我认为这两个领域的经验对我的职业生涯都非常重要。在学术界,通常是深入地研究一个艰深的学术问题,考验的是在一个点上突破的能力;而在工业界,需要完整的解决一个实际问题,考验的更多是全面的能力和综合素质。这是两种完全不同的体验,对我的成长都具有非凡的意义。


另外值得指出一点就是,学术界通常关心解决一类问题,所以研究的问题讲求通用性和一般性。但是有时候容易脱离实际,学术界解决的问题有时候在工业界看来并不是真正的痛点。而工业界的问题在于过分关注于个体的问题,不重视把具体问题抽象成有价值的研究问题。所以容易出现重复造轮子的现象。


所以学界和业界是两个不同的群体,但他们可以相辅相成。从学术角度来看,我们可以将这个特定问题扩展成一个抽象问题,而这个抽象问题在某些意义上已经在学术界得到了很好的研究,我们可以应用现有技术或开发新技术来解决该问题。与此同时,我们可以帮助业界人士了解工业问题背后的数学基础和原理。但这并不意味着我们从学界学到的技能毫无用处。相反,这些技能有可能发挥非常重要的作用,但这取决于我们如何使用这些技能。我的目标就是尽力让学术界和工业界之间形成一个良好的过渡地带。

AI 技术的商业化实践


刘霁在 CVPR2019“快手”展示区讲解,图片来源:快手


主持人:我们来谈谈快手。你在 2018 年底加入快手,在接下来的三到五年里,你和公司都有什么样的计划?


刘霁:


设立快手西雅图 lab 的初衷是帮助解决公司业务中最重要的、有挑战的问题,同时为公司打造和沉淀核心的 AI 基础能力,比如像机器学习平台、小样本学习等等。同时有机会也希望开创一些新的业务增长。快手有良好的用户生态。现在的产品种类还不是很丰富,我们的工作重心相对还比较集中。未来三到五年,相信我们的产品矩阵会越来越丰富,每个人都有更大的发挥空间。


从个人的角度来讲,我自己有一套解决问题的方法论。我希望能在接下来的时间里实践和完善我的方法论。更明确一点讲,我是一个以问题为导向,以产品为导向的人。我很了解人工智能技术,但我还不够了解用户,如何合理得定义产品。为了在人工智能技术落地,我想先了解我们的用户,从而设计出最好的产品。我们可以通过设计算法,开发新技术,定义新的概念和流程来达到这个目的。


主持人:你目前在西雅图担任人工智能实验室和 FeDA(智能决策)实验室的主任。能给我们介绍一下 FeDA 实验室的使命和研究重点吗?


刘霁:


正如我前面提到的,设立快手 FeDA 联合实验室的目的是帮助解决商业化中最重要的、有挑战的的技术问题,例如 AI 对商业化赋能。商业化是公司去年启动的的一个重大项目,主要是研究如何向用户推荐视频广告,合理地发掘商业价值,最大化用户的体验。我们在快手有两组用户,一组会分享视频,另一组只观看视频,但是这两组人之间存在很大的重叠。公司的原则是同时为这两类人服务。但我们都知道,广告有时可能会损害用户的体验,那么挑战就在于如何最大限度的减少对用户的负面影响,最大化他们的正面体验。所以我们就需要开发更好的算法来进行个性化推荐。这部分也与计算机视觉领域研发人员密切相关。因为在快手,所有广告都是基于视频的。在传统的推荐问题中,需要处理的内容通常是文本或者图片,但是基于视频的新形式需要新技术,需要聘用新员工,这也是我参加各大计算机视觉会议的原因。



用户在 CVPR2019 现场体验,图片来源:快手


主持人:你谈到了用户体验和用户价值的。我们知道这对于产品创新非常重要。你能从快手的角度介绍一下这一点在产品开发的过程中是如何体现的吗?


刘霁:


快手确实非常关心用户体验。我理解公司将用户体验放在第一位,而商业化是第二位的。从我们的首席执行官和首席技术官到整个公司的每一名员工都达成了这样的共识。因此,无论我们做任何事情,都需要去了解用户体验方面的情况。这是一个复杂的数据分析任务,需要人工智能才能理解。人类是一个非常复杂的系统,使用纯粹或单一理论来解释人类的思维和感受是非常困难的,即便是心理学也不见总能得出正确的结论。我们必须结合不同领域的专业知识来了解我们的用户,这就是为什么我们最近在快手成立了一个新的团队专门进行统计分析。该团队的一个重要目标就是尝试了解人类行为以及对我们的产品是否满意。


主持人:在这个新的岗位上,你是如何管理团队的?你的领导风格是什么?


刘霁:


我认为我的领导风格是动态的,需要适应团队的需要。在某个阶段,比如现在,我的管理风格会更加中心化,因为公司正在成长,我们希望加快增长的速度,所以更需要中心化的管理方式。但我理想的管理方案是去中心化的。就好比教练和球员,球员除了需要与教练沟通,他们之间更需要直接的沟通和协同,才能更高效的发挥团队的力量。


主持人:说得太好了。我们期待你们能一步步实现最终的目标。再次感谢你!


原文链接:


https://www.robinly.info/post/cvpr-2019-ai-talk-prof-ji-liu-director-kuaishou-seattle-ai-lab-feda-lab


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-07-22 08:005583
用户头像
Robin.ly 硅谷AI科技、创业、领导力访谈

发布了 49 篇内容, 共 18.0 次阅读, 收获喜欢 59 次。

关注

评论

发布
暂无评论
发现更多内容

操作系统的内存管理(上)

鲁米

内存管理

net.coobird.thumbnailator.tasks.UnsupportedFormatException: No suitable ImageReader found for source data.

wjchenge

mybatis 配置详解

xiezhr

mybatis MyBatis标签 mybatis配置

ARST-日常打卡

pjw

「架构师训练营 4 期」 第十一周 - 001&2

凯迪

架构师训练营 4 期

张开怀抱迎接Golang

Kylin

读书笔记 语法 3月日更 Java转go Go 语言

IBM们的中国研究院是怎样一步步“躺平”的?

脑极体

给你的网站文字添加黑幕-隐藏文字

依旧廖凯

28天写作 3月日更

我的学习笔记

SilentMacUser

Python JavaScript 学习 大前端 开发

散列表-hashTable

x-arts

散列函数

英文IT数码类播客学习笔记

SilentMacUser

红帽 互联网 播客 计算机历史

算法攻关-序列化和反序列化二叉树O(n)_offer37

小诚信驿站

刘晓成 小诚信驿站 28天写作 算法攻关 序列化二叉树

员工遇到问题 - 是给答案还是给引导?

石云升

项目管理 28天写作 职场经验 管理经验 3月日更

MySQL调优

Sakura

28天写作 3月日更

androidjson解析!跟我一起手写EventBus吧,不吃透都对不起自己

欢喜学安卓

android 程序员 面试 移动开发

产品经理训练营大作业(05)

KingSwim

开发人员的软实力之一:配合度

boshi

职业素养 七日更

第十一周作业

MR.X

产品经理训练营大作业

隋泽

React 中 useContext 和 useMemo 一般性使用

sadhu

React useContext useMemo React Hooks

第10周课后练习-模块分解

潘涛

架构师训练营 4 期

【得物技术】前端微服务

得物技术

微服务 大前端 得物技术

android基础教程!字节跳动+京东+360+网易面试题整理,附答案

欢喜学安卓

android 程序员 面试 移动开发

类似GitBook的在线文档创作平台

happlyfox

28天写作 3月日更

翻译:《实用的Python编程》06_00_Overview

codists

Python

还原五百丁APP需求文档

林亚超

(28DW-S8-Day23) 《流程型组织》学习笔记:摧毁金字塔,拆掉"法约尔"桥

mtfelix

28天写作 流程型组织

Flink SQL 如何实现列转行?

JasonLee实时计算

flink

1.2W 字的 SQL 语法速成手册

xcbeyond

MySQL sql 3月日更

安全架构学习总结

跳蚤

人社部拟发10几个新职业,区块链行业占两个

CECBC

区块链人才

快手AI引擎幕后“推手”刘霁:跨越学界和业界的青年创新领袖_AI&大模型_Robin.ly_InfoQ精选文章