ArchSummit全球架构师峰会全新主题——「智能进阶·架构重塑」>>> 了解详情
写点什么

H2O.ai 首席架构师谈深度学习的影响和发展障碍

  • 2016-03-14
  • 本文字数:1982 字

    阅读完需:约 7 分钟

H2O 是一个分布式可伸缩性开源机器学习平台,领先的为分布式计算集群设计的开源内存片内机器学习平台,附带开源 Java 代码、具有公开可用可伸缩的机器学习,整合了日常工具如 R,Python,Hadoop 和 spark 等等。

现在已经有很多深度学习开源实现,比较流行的是: Torch Theano Caffe Petuum Deep4J ,以及 H2O 。对于 H2O 的深度学习,他们将一些小技巧结合起来,使它成为一个非常强大的方法。例如,具有自动自适应权重初始化,自动数据标准化,扩展分类数据,自动处理缺失值,自动自适应学习率,各种正则化技术,自动性能优化,负载均衡,N 倍交叉验证,检查点,并在集群用于大型数据集不同的分布式训练模式。而最好的事情是,用户并不需要了解神经网络的任何东西,也没有复杂的配置文件。对于有能力的用户,另外还有不少(详细)选项,使他们能够精细控制学习过程。

Arno Candel 是 H2O.ai 的首席架构师,获评为 2014 财富大数据全明星之一。也是 H2O.ai 开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进 H2O 机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访

你是如何开始深度学习方面的工作的?

“我从 2013 年 11 月加入 H2O.ai 时开始分布式深度学习的工作。我第一个任务是改善现有代码,针对有名的 MNIST 数据集取得有竞争力的表现。几周后,我用全连通前向传输神经网络加上输入 dropout 取得了创纪录的最低测试集错误率。此后,H2O 深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响?

“大多数人类活动已经是基于数据信息,其中很多会变成数据驱动。IoT 本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统,销售业的个性化购物,家用设施的自动化,金融里的 p2p 借贷,还是汽车工业里兴起的自动驾驶汽车,我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的,而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些?

“它是硬件、软件和数据可公开获取的结果。神经网络的研究,由于计算机和已标示数据更容易获取,在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么?

“从阅读论文中提出的新方法,到推出一个可靠可伸缩的系统产品,两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习,特别是深度学习发展的步伐,还停留在过时的基于规则或简单统计模型的方法,它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法,他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下,改善模型可读性和降低模型复杂度上面。”

H2O.ai 下一步会做什么?

“在 H2O.ai,我们的工程师正在改善现有机器学习算法并添加新的内容,但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai 独一无二的地方在于它是以客户为中心的公司,但是我们的产品是开源的,任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展?

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律,还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度,最终拿到一个更简单的基础组建模块,可以学习得一样好,甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学,并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域,有很多发展在朝着这一方向。例如,新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域,而不是一次就搜索所有地方。其他的一些想法,包括 Hinton 针对模型压缩和专家网络的暗知识概念。”

你对哪些技术用在日常生活感到兴奋?你认为它们什么时候可以实现?

“我简直等不及有一款机器人能烹饪 12 道菜米其林评级的晚饭,然后在我和家人坐在餐桌边的按摩椅上时给我们上菜(ok,这部分比较容易)。精确的把握时间以及餐后清洁也不错。查理卓别林在《摩登时代》让我们见识过一团糟的场景。可惜我们时隔 80 年依然没有多大进展,但是我希望深度学习可以或多或少加快发展速度。”


感谢黄玲艳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-14 16:503587
用户头像
Tina InfoQ高级编辑

发布了 1176 篇内容, 共 757.7 次阅读, 收获喜欢 3392 次。

关注

评论

发布
暂无评论
发现更多内容

架构师训练营 大作业(二)

netspecial

极客大学架构师训练营

是的,我又换工作了

Rayjun

工作

安全架构:反垃圾与风控

积极&丧

我家有猫

熊斌

生活方式 七日更 我家有猫

Spring 源码学习 10:prepareBeanFactory 和 postProcessBeanFactory

程序员小航

spring 源码 源码阅读

微服务过载保护原理与实战

万俊峰Kevin

微服务 go-zero Go 语言

从场景出发,日志聚类还可以这么玩

信仰圣光吧丶

AIOPS 日志聚类 日志治理

Java并发底层知识,锁获取超时机制知多少?

码农架构

Java java 并发

框架VS架构,看两者异同

田维常

框架

架构师训练营第十周笔记

李日盛

学习 微服务 DDD

pagerank算法

橘子皮嚼着不脆

区块链的核心技术是什么?

CECBC

区块链

最近一些让我颇有感触的话

Bruce Talk

随笔

13张图彻底搞懂分布式系统服务注册与发现原理

爱笑的架构师

微服务 服务注册与发现 七日更

架构师训练营第五周作业

zamkai

安全架构:加密与解密

积极&丧

重磅!四部门联合约谈蚂蚁集团!刚刚,约谈的主要内容曝光……

CECBC

金融

ARROW阿罗AOW币APP系统软件开发

系统开发

Flink比Spark好在哪?

数据社

flink spark 七日更

避坑指南,Elasticsearch 分页查询的两个问题,你一定要知道

AlwaysBeta

elasticsearch python 爬虫

架构师训练营 大作业(一)

netspecial

极客大学架构师训练营

Week10总结

lggl

总结 作业

日本准备推行AI婚配,年轻人会为“爱情算法”买单吗?

脑极体

AOP的姿势之 简化 MemoryCache 使用方式

八苦-瞿昙

aop

炎币交易所APP系统开发|炎币交易所软件开发

系统开发

软件组件设计原则

积极&丧

用领域驱动设计驱动系统的重构

积极&丧

Week10作业

lggl

作业

区块链 链什么?

CECBC

区块链 分布式

数据仓库的前世今生

数据社

数据仓库 七日更

七周七并发模型

田维常

并发

H2O.ai首席架构师谈深度学习的影响和发展障碍_架构_Tina_InfoQ精选文章