写点什么

H2O.ai 首席架构师谈深度学习的影响和发展障碍

  • 2016-03-14
  • 本文字数:1982 字

    阅读完需:约 7 分钟

H2O 是一个分布式可伸缩性开源机器学习平台,领先的为分布式计算集群设计的开源内存片内机器学习平台,附带开源 Java 代码、具有公开可用可伸缩的机器学习,整合了日常工具如 R,Python,Hadoop 和 spark 等等。

现在已经有很多深度学习开源实现,比较流行的是: Torch Theano Caffe Petuum Deep4J ,以及 H2O 。对于 H2O 的深度学习,他们将一些小技巧结合起来,使它成为一个非常强大的方法。例如,具有自动自适应权重初始化,自动数据标准化,扩展分类数据,自动处理缺失值,自动自适应学习率,各种正则化技术,自动性能优化,负载均衡,N 倍交叉验证,检查点,并在集群用于大型数据集不同的分布式训练模式。而最好的事情是,用户并不需要了解神经网络的任何东西,也没有复杂的配置文件。对于有能力的用户,另外还有不少(详细)选项,使他们能够精细控制学习过程。

Arno Candel 是 H2O.ai 的首席架构师,获评为 2014 财富大数据全明星之一。也是 H2O.ai 开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进 H2O 机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访

你是如何开始深度学习方面的工作的?

“我从 2013 年 11 月加入 H2O.ai 时开始分布式深度学习的工作。我第一个任务是改善现有代码,针对有名的 MNIST 数据集取得有竞争力的表现。几周后,我用全连通前向传输神经网络加上输入 dropout 取得了创纪录的最低测试集错误率。此后,H2O 深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响?

“大多数人类活动已经是基于数据信息,其中很多会变成数据驱动。IoT 本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统,销售业的个性化购物,家用设施的自动化,金融里的 p2p 借贷,还是汽车工业里兴起的自动驾驶汽车,我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的,而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些?

“它是硬件、软件和数据可公开获取的结果。神经网络的研究,由于计算机和已标示数据更容易获取,在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么?

“从阅读论文中提出的新方法,到推出一个可靠可伸缩的系统产品,两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习,特别是深度学习发展的步伐,还停留在过时的基于规则或简单统计模型的方法,它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法,他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下,改善模型可读性和降低模型复杂度上面。”

H2O.ai 下一步会做什么?

“在 H2O.ai,我们的工程师正在改善现有机器学习算法并添加新的内容,但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai 独一无二的地方在于它是以客户为中心的公司,但是我们的产品是开源的,任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展?

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律,还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度,最终拿到一个更简单的基础组建模块,可以学习得一样好,甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学,并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域,有很多发展在朝着这一方向。例如,新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域,而不是一次就搜索所有地方。其他的一些想法,包括 Hinton 针对模型压缩和专家网络的暗知识概念。”

你对哪些技术用在日常生活感到兴奋?你认为它们什么时候可以实现?

“我简直等不及有一款机器人能烹饪 12 道菜米其林评级的晚饭,然后在我和家人坐在餐桌边的按摩椅上时给我们上菜(ok,这部分比较容易)。精确的把握时间以及餐后清洁也不错。查理卓别林在《摩登时代》让我们见识过一团糟的场景。可惜我们时隔 80 年依然没有多大进展,但是我希望深度学习可以或多或少加快发展速度。”


感谢黄玲艳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-14 16:504114
用户头像
Tina InfoQ高级编辑

发布了 1701 篇内容, 共 1376.9 次阅读, 收获喜欢 4039 次。

关注

评论

发布
暂无评论
发现更多内容

Python 核心技术与实践 input&output

Bonaparte

物理实现(Physical Implementation)

老壳有点爽

芯片 集成电路 IC 物理设计 PI

Linux指令简述&vim引入(1)

老壳有点爽

vim Linux 脚本

区块链之物流产业上链解决痛点

CECBC

区块链 供应链

模拟电路设计工程师发展九段

老壳有点爽

集成电路 IC 芯片设计 模拟电路

sed语言学习技巧(1)

老壳有点爽

vim 编程语言 sed 脚本语言

sed 语言学习技巧(2)

老壳有点爽

vim sed 脚本语言

Vim小技巧(2)

老壳有点爽

vim Linux 脚本语言

MySQL DDL详情揭露

Simon

MySQL

强势入局,区块链专利将成为银行下一个战场?

CECBC

区块链 金融 银行

数字电路后端设计流程

老壳有点爽

设计 flow 集成电路 IC

中国大陆芯片行业发展概况

老壳有点爽

芯片 集成电路 IC

IC设计流程及工具

老壳有点爽

芯片 集成电路 IC IC设计流程及工具

最初芯片国产化是怎么来的?

老壳有点爽

芯片 集成电路 国产化 替代

魅力非凡的半导体电路行业

老壳有点爽

芯片 集成电路 IC 芯片营销

半导体行业个人理解

老壳有点爽

芯片 半导体 集成电路 IC

商业计划书制作(2):商业计划书的完成阶段

老壳有点爽

创业 财富自由 商业计划书

PySpark RDD 基础运算和操作总结

是老郭啊

spark pyspark RDD

看门狗 | 分布式锁架构设计方案-01

九叔(高翔龙)

redis 分布式锁 RedLock WatchDog

看门狗 | 分布式锁架构设计方案-02

九叔(高翔龙)

redis 分布式锁 Jedis RedLock

集成电路设计概括

老壳有点爽

芯片 集成电路 IC

芯片行业的主要生意模式

老壳有点爽

芯片 集成电路 IC

数字后端工程师发展六阶段

老壳有点爽

芯片 集成电路 IC 数字电路工程师

商业计划书制作(1):商业计划书的信息需求

老壳有点爽

创业 商业计划书 信息需求

芯片行业基本生态:设计生产封装的行业分工

老壳有点爽

芯片 集成电路 IC

MySQL备份与恢复场景示例

Simon

MySQL

2020深圳站-GIAC全球互联网架构大会PPT分享

九叔(高翔龙)

架构 分布式系统 服务治理 大型网站演变 全链路压测

集成电路工艺基础介绍

老壳有点爽

芯片 集成电路 IC 工艺 制程

世界集成电路发展概况

老壳有点爽

芯片 集成电路 IC 芯片营销

成都信息工程大学的区块链工程成全国首个区块链工程本科专业

CECBC

区块链技术 区块链工程

Verilog 的debug技巧(1)

老壳有点爽

芯片 集成电路 IC Verilog 电路

H2O.ai首席架构师谈深度学习的影响和发展障碍_架构_Tina_InfoQ精选文章