AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

H2O.ai 首席架构师谈深度学习的影响和发展障碍

  • 2016-03-14
  • 本文字数:1982 字

    阅读完需:约 7 分钟

H2O 是一个分布式可伸缩性开源机器学习平台,领先的为分布式计算集群设计的开源内存片内机器学习平台,附带开源 Java 代码、具有公开可用可伸缩的机器学习,整合了日常工具如 R,Python,Hadoop 和 spark 等等。

现在已经有很多深度学习开源实现,比较流行的是: Torch Theano Caffe Petuum Deep4J ,以及 H2O 。对于 H2O 的深度学习,他们将一些小技巧结合起来,使它成为一个非常强大的方法。例如,具有自动自适应权重初始化,自动数据标准化,扩展分类数据,自动处理缺失值,自动自适应学习率,各种正则化技术,自动性能优化,负载均衡,N 倍交叉验证,检查点,并在集群用于大型数据集不同的分布式训练模式。而最好的事情是,用户并不需要了解神经网络的任何东西,也没有复杂的配置文件。对于有能力的用户,另外还有不少(详细)选项,使他们能够精细控制学习过程。

Arno Candel 是 H2O.ai 的首席架构师,获评为 2014 财富大数据全明星之一。也是 H2O.ai 开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进 H2O 机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访

你是如何开始深度学习方面的工作的?

“我从 2013 年 11 月加入 H2O.ai 时开始分布式深度学习的工作。我第一个任务是改善现有代码,针对有名的 MNIST 数据集取得有竞争力的表现。几周后,我用全连通前向传输神经网络加上输入 dropout 取得了创纪录的最低测试集错误率。此后,H2O 深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响?

“大多数人类活动已经是基于数据信息,其中很多会变成数据驱动。IoT 本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统,销售业的个性化购物,家用设施的自动化,金融里的 p2p 借贷,还是汽车工业里兴起的自动驾驶汽车,我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的,而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些?

“它是硬件、软件和数据可公开获取的结果。神经网络的研究,由于计算机和已标示数据更容易获取,在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么?

“从阅读论文中提出的新方法,到推出一个可靠可伸缩的系统产品,两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习,特别是深度学习发展的步伐,还停留在过时的基于规则或简单统计模型的方法,它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法,他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下,改善模型可读性和降低模型复杂度上面。”

H2O.ai 下一步会做什么?

“在 H2O.ai,我们的工程师正在改善现有机器学习算法并添加新的内容,但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai 独一无二的地方在于它是以客户为中心的公司,但是我们的产品是开源的,任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展?

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律,还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度,最终拿到一个更简单的基础组建模块,可以学习得一样好,甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学,并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域,有很多发展在朝着这一方向。例如,新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域,而不是一次就搜索所有地方。其他的一些想法,包括 Hinton 针对模型压缩和专家网络的暗知识概念。”

你对哪些技术用在日常生活感到兴奋?你认为它们什么时候可以实现?

“我简直等不及有一款机器人能烹饪 12 道菜米其林评级的晚饭,然后在我和家人坐在餐桌边的按摩椅上时给我们上菜(ok,这部分比较容易)。精确的把握时间以及餐后清洁也不错。查理卓别林在《摩登时代》让我们见识过一团糟的场景。可惜我们时隔 80 年依然没有多大进展,但是我希望深度学习可以或多或少加快发展速度。”


感谢黄玲艳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-14 16:503991
用户头像
Tina InfoQ高级编辑

发布了 1645 篇内容, 共 1316.1 次阅读, 收获喜欢 4001 次。

关注

评论

发布
暂无评论
发现更多内容

一文搞懂│什么是跨域?如何解决跨域?

前端 经验分享 跨域 7月月更

华为影像XMAGE:求尽世间像,终见菩提心

脑极体

阿里云E-MapReduce 极客大赛开放报名 数十万奖金等你挑战

Lily

比赛

Python|类与对象

AXYZdong

Python 7月月更

了解JVM语言

沃德

Java 程序员 7月月更

【用户文章】P4合并实践指南之实例拆解Resolve

龙智—DevSecOps解决方案

P4合并 解决冲突

自定义spring boot starter三部曲之三:源码分析spring.factories加载过程

程序员欣宸

Java springboot 7月月更

Java实现有getMin功能的栈

工程师日月

Java 算法 7月月更

红象云腾大数据基础平台与龙蜥社区操作系统再次完成联合测试

OpenAnolis小助手

开源 操作系统 龙蜥社区 红象云腾 兼容性互认证

【计算讲谈社】第六讲|三星堆奇幻之旅:只有云计算才能带来的体验

大咖说

云计算 三星堆 数字空间 阿里云大咖说 计算讲谈社

代码合规性:开发人员使用Helix QAC的5大原因

龙智—DevSecOps解决方案

静态代码分析 Helix QAC 静态代码分析器

直播带货系统源码

开源直播系统源码

软件测试 APP开发 直播系统源码 直播带货系统源码

助力开发者,全方位解读 APISIX 测试案例

API7.ai 技术团队

开源 测试 APISIX 网关

24小时共享自助洗车店你见过吗

共享电单车厂家

24小时共享自助洗车 自助洗车加盟 自助洗车店

Gartner:无需数据中台,API就能胜任连接前端和后端的工作

雨果

数据中台 API

游戏有什么用?| 游戏应用价值研究案例征集

易观分析

游戏

无需CORS,用nginx解决跨域问题,轻松实现低代码开发的前后端分离

葡萄城技术团队

nginx 前后端分离 cros

什么是真正的HTAP?(一)背景篇

StoneDB

MySQL OLAP OLTP HTAP StoneDB

5分钟快速梳理你的HTTP体系

程序员海军

前端 HTTP 7月月更

用对工具,CI事半功倍

龙智—DevSecOps解决方案

ci 持续集成 ⾃动化构建 ⾃动化部署

全球云市场增势迅猛,数据安全进入法治化的强监管时代

行云管家

云计算 网络安全 数据安全

Apache APISIX Meetup 南京站!我们 7.30 见!

API7.ai 技术团队

API网关 APISIX Meetup Workshop

焱融科技入选北京市 2022 年度“专精特新”,领航混合云文件存储

焱融科技

数据库每日一题---第23天:游戏玩法分析 l

知心宝贝

数据库 程序员 算法 后端 7月月更

网络安全网格概念以及特点简单普及

行云管家

网络安全 网络安全网格

知识干货:基础存储服务新手体验营

hum建应用专家

数据库

大数据培训 Hive 相关知识的全面总结

@零度

hive 大数据开发

【7.8-7.15】写作社区精彩技术博文回顾

InfoQ写作社区官方

优质创作周报

Dimitra 和 Ocean Protocol 解读农业数据背后的秘密

股市老人

MySQL 添加用户并授予只能查询权限

叫练

没有可观测性,DataOps 注定失败|TheNewStack

观测云

H2O.ai首席架构师谈深度学习的影响和发展障碍_架构_Tina_InfoQ精选文章