10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

百度吴恩达:深度学习的前沿正转向高性能计算

  • 2015-05-14
  • 本文字数:2295 字

    阅读完需:约 8 分钟

近日,百度首席科学家吴恩达 (Andrew Ng) 博士和百度硅谷人工智能实验室主任亚当. 科茨(Adam Coates)博士,在知名美国社交新闻站点 Reddit 热门板块 AMA(Ask me anything) 与网友进行了一次热情的问答互动。网友们纷纷针对自己关心的问题与两位人工智能领域的大师展开交流,吴博士也对网友关心的很多问题阐述了自己的观点。本文由张天雷、黄立威整理。

深度学习的前沿正转向高性能计算

在对话中,吴博士谈到,计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和数据的驱动,吴博士认为深度学习的前沿正转移到高性能计算(HPC),这也是目前他们在百度的工作重心之一​​。吴博士认为在企业环境下建立新的HPC 技术以及访问大量的数据更加容易,驱使他选择与企业开展合作。同时,吴博士认为计算能力的提升并不是我们被动地等待而自然发生的。在两位专家从事深度学习的生涯中,有很多的成功得益于主动地追求可用的计算能力。例如,在2008 年,吴博士启动了他所认为的第一个CUDA / GPU 深度学习任务,并引领这个领域开始使用GPU。2011 年,吴博士创立并领导了谷歌深度学习小组(当时称为谷歌大脑),使用谷歌云扩展深度学习;这使得深度学习得以推向工业界。在2013 年,科茨博士等人建立了第一个HPC 式的深度学习系统,可扩展性提升了1-2 个数量级。目前在百度,吴博士的团队正在正利用HPC 技术,开发新一代的深度学习系统,HPC 为深度学习提供了一大助力。吴博士认为高性能计算和大数据的深度结合将为他们带来下一个深度学习的巨大进步,目前他们已经在语音识别方面取得的突破( http://bit.ly/deepspeech)。

另外,吴博士还谈到,50 年前,实际上是计算机科学理论推动着计算机科学实践的前进。例如,理论工作搞清楚了排序的复杂度是 O(n log n),早期,Don Knuth 关于计算机理论方面的一些著作,真正推动了计算机科学的进步。今天,一些领域中仍然是理论推动实践,如计算机安全:假如我们发现一个加密的漏洞,并发表一篇关于它的理论文章,这可能会导致全世界都根据你的理论更改自己的代码。但在机器学习领域,进步越来越受到一些实际的工作所驱动,而不是理论。

机器学习技术 VS 专业领域知识

在谈到面对一个专业领域内的具体问题什么技术更加重要,是机器学习的应用能力,还是对具体问题的领域知识?吴博士认为,解决不同问题需要的技术是不同的。但广泛地说,对于解决一个问题所需要的知识源于两个方面:

  1. 你身边的工程师所拥有的;
  2. 从数据自身所能够学习到的。

在某些领域(如计算机视觉,语音识别和自然语言处理),快速增加的数据意味着(2)是现在的主导力量,因此,领域知识和身边工程师的能力正变得越来越不那么重要。 5 年前,涉足计算机视觉和语音识别研究真的非常困难,因为需要你必须掌握很多的领域知识。但由于深度学习的兴起和数据的增加,学习门槛现在变得更容易、更低,因为解决问题的途径已经变为了机器学习 + 数据,工程师知道什么已经变得不那么关键了。吴博士认为现在的获胜方法越来越多的是使用差不多的领域知识,编写了一个学习算法,然后给它一大堆的数据,让算法从数据中得出答案。

为什么选择百度

当谈到为什么选择加入百度的时候。吴博士认为百度是一家非常出色的公司,百度研究院在很大程度上是一个全新的环境。百度投入了大量的精力进行员工发展,所以这里的人都在努力工作,并迅速地学习深度学习,HPC 等技术,他觉得这些东西为推动机器学习研究提供了最好的条件和可能性。

另外,吴博士也针对网友关心的几个问题提出了自己的看法。

  1. 从事机器学习是否需要一个高的学位。吴博士认为对于机器学习研究是否需要一个学位:答案是绝对不需要!一个博士学位是了解机器学习的一种很棒的途径。但是,许多顶尖的机器学习研究人员并没有一个博士学位。比如通过 Coursera 自主学习就是一种很好的方法。如果已经拥有的许多软件开发技巧,可以一直跟进 MOOCs,并使用免费的在线资源(如 deeplearning.stanford.edu/tutorial)。通过充分的自学足以在一个工业界的机器学习团队中获得一个好的位置。
  2. 概率方法在深度学习中的地位。吴博士谈到,在深度学习的初期,Hinton 开发了一些概率深度学习算法,如受限玻尔兹曼机,其使用对比散度算法进行训练。但是,这些模型实际上很复杂,而且计算归一化常数(划分函数)非常困难,导致实际上是采用复杂的 MCMC 和其他算法来进行训练。在接下来的几年中,研究人员意识到在大多数的情况下这种概率形式并没有提供任何优势,反而增加了复杂度。因此,几乎所有的深度学习算法都远离这种概率形式,改为使用计算确定的神经网络。(3)非监督学习的未来。吴博士认为虽然目前大部分成功的深度学习都是使用监督学习,但并不代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,因此非监督学习存在巨大的研究空间!

吴博士也谈到,自己经常在思考从事研究的意义在哪里。在百度,吴博士团队的目标是开发出过硬的人工智能技术,从而让数亿的互联网用户受益。随着时间的推移,吴博士愈加觉得应该更加具有战略眼光,虽然已经看到前面还有很多的路要走,不仅仅是写一篇论文,而是要铺好一条道路让团队的技术能够为更多的人受益。在这些日子里,这是让两位专家对于自己的工作真正保持热情的源泉!


感谢崔康对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-05-14 06:536810
用户头像

发布了 268 篇内容, 共 133.6 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

深入浅出MatrixOne Parser

MatrixOrigin

矩阵起源 MatirxOrigin MatirxOne

【LeetCode】字符串解码Java题解

Albert

LeetCode 10月月更

低代码将干掉65%软件开发工作,留给码农的时间不多了!

雨果

低代码

Qt | 实现网页历史记录和查找功能 QWebEngineView

YOLO.

qt 10月月更 C++

2022-10-07:给定员工的 schedule 列表,表示每个员工的工作时间。 每个员工都有一个非重叠的时间段 Intervals 列表,这些时间段已经排好序。 返回表示 所有 员工的 共同,正

福大大架构师每日一题

算法 rust 福大大

文盘Rust -- struct 中的生命周期

京东科技开发者

redis rust 生命周期 Trait Trait Objects

Web3流支付迎来新质变,Zebec开放Zepoch节点申请

BlockChain先知

开发者有话说|如何成为优秀的前端技术经理

No Silver Bullet

个人成长 技术经理

爬虫练习题(三)

张立梵

Python. 10月月更 爬虫案例

golang反向代理实现中的坑位

有态度的马甲

leetcode 106. Construct Binary Tree from Inorder and Postorder Traversal 从中序与后序遍历序列构造二叉树(中等)

okokabcd

LeetCode 算法与数据结构

Docker远程连接设置

程序员欣宸

Docker 容器 10月月更

从SpringBoot启动,阅读源码设计

Java 架构

Web3流支付迎来新质变,Zebec开放Zepoch节点申请

小哈区块

Python应用之验证码验证

芯动大师

验证码 10月月更 Python应用

spring入门介绍

楠羽

笔记 spring 5 10月月更

想学Go Web?先来看看如何搭建一个beego项目吧

Regan Yue

Go Go web Beego 10月月更

架构师的十八般武艺:可延展性

agnostic

可延展性

【一Go到底】第八天---用户输入

指剑

Go golang 10月月更

直呼内行!阿里大佬离职带出内网专属“Redis设计应用实践”学习笔记

Geek_0c76c3

Java 数据库 开源 程序员 架构

Python应用之激活码生成器

芯动大师

Python语法 10月月更 激活码生成器

Vue3入门指北(十一)watch 和 watchEffect

Augus

Vue3 10月月更

干货分享 | MatrixOne系统架构

MatrixOrigin

MatrixOrigin MatrixOne 金海

Python进阶(三)函数式编程之reduce()

No Silver Bullet

Python reduce 10月月更

Python进阶(四)浅谈Python闭包

No Silver Bullet

Python 闭包 10月月更

Windows开发工具安装

青柚1943

dapr

七天杀上GitHub榜首!Java并发编程深度解析实战,JUC底层原理揭秘

Geek_0c76c3

Java 数据库 开源 程序员 架构

Zepoch节点开放申请,Web3流支付巨头Zebec利好不断

股市老人

攻击面分析及应对实践

vivo互联网技术

安全 风险管理 互联网安全

Sentinel Go-毫秒级统计数据结构揭秘

柠檬汁Code(binbin0325)

数据结构 源码分析 限流 Sentine 10月月更

百度吴恩达:深度学习的前沿正转向高性能计算_语言 & 开发_张天雷_InfoQ精选文章