写点什么

H2O.ai 首席架构师谈深度学习的影响和发展障碍

  • 2016-03-14
  • 本文字数:1982 字

    阅读完需:约 7 分钟

H2O 是一个分布式可伸缩性开源机器学习平台,领先的为分布式计算集群设计的开源内存片内机器学习平台,附带开源 Java 代码、具有公开可用可伸缩的机器学习,整合了日常工具如 R,Python,Hadoop 和 spark 等等。

现在已经有很多深度学习开源实现,比较流行的是: Torch Theano Caffe Petuum Deep4J ,以及 H2O 。对于 H2O 的深度学习,他们将一些小技巧结合起来,使它成为一个非常强大的方法。例如,具有自动自适应权重初始化,自动数据标准化,扩展分类数据,自动处理缺失值,自动自适应学习率,各种正则化技术,自动性能优化,负载均衡,N 倍交叉验证,检查点,并在集群用于大型数据集不同的分布式训练模式。而最好的事情是,用户并不需要了解神经网络的任何东西,也没有复杂的配置文件。对于有能力的用户,另外还有不少(详细)选项,使他们能够精细控制学习过程。

Arno Candel 是 H2O.ai 的首席架构师,获评为 2014 财富大数据全明星之一。也是 H2O.ai 开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进 H2O 机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访

你是如何开始深度学习方面的工作的?

“我从 2013 年 11 月加入 H2O.ai 时开始分布式深度学习的工作。我第一个任务是改善现有代码,针对有名的 MNIST 数据集取得有竞争力的表现。几周后,我用全连通前向传输神经网络加上输入 dropout 取得了创纪录的最低测试集错误率。此后,H2O 深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响?

“大多数人类活动已经是基于数据信息,其中很多会变成数据驱动。IoT 本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统,销售业的个性化购物,家用设施的自动化,金融里的 p2p 借贷,还是汽车工业里兴起的自动驾驶汽车,我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的,而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些?

“它是硬件、软件和数据可公开获取的结果。神经网络的研究,由于计算机和已标示数据更容易获取,在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么?

“从阅读论文中提出的新方法,到推出一个可靠可伸缩的系统产品,两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习,特别是深度学习发展的步伐,还停留在过时的基于规则或简单统计模型的方法,它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法,他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下,改善模型可读性和降低模型复杂度上面。”

H2O.ai 下一步会做什么?

“在 H2O.ai,我们的工程师正在改善现有机器学习算法并添加新的内容,但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai 独一无二的地方在于它是以客户为中心的公司,但是我们的产品是开源的,任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展?

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律,还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度,最终拿到一个更简单的基础组建模块,可以学习得一样好,甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学,并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域,有很多发展在朝着这一方向。例如,新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域,而不是一次就搜索所有地方。其他的一些想法,包括 Hinton 针对模型压缩和专家网络的暗知识概念。”

你对哪些技术用在日常生活感到兴奋?你认为它们什么时候可以实现?

“我简直等不及有一款机器人能烹饪 12 道菜米其林评级的晚饭,然后在我和家人坐在餐桌边的按摩椅上时给我们上菜(ok,这部分比较容易)。精确的把握时间以及餐后清洁也不错。查理卓别林在《摩登时代》让我们见识过一团糟的场景。可惜我们时隔 80 年依然没有多大进展,但是我希望深度学习可以或多或少加快发展速度。”


感谢黄玲艳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-14 16:504254
用户头像
Tina InfoQ高级编辑

发布了 1740 篇内容, 共 1433.5 次阅读, 收获喜欢 4077 次。

关注

评论

发布
暂无评论
发现更多内容

Alibaba Druid 源码阅读(四) 数据库连接池中连接获取探索

数据库

研发提效:通过设计稿自动生成前端代码。

石云升

大前端 自动生成 11月日更 研发提效

网易云信携手“瑶台”,打造元宇宙商业化实践标杆案例

网易云信

人工智能 虚拟化 虚拟人 元宇宙

互联网大厂考点(阿里+百度+腾讯+字节跳动+美团+京东)

Java高级开发

Java 程序员 架构 面试 大厂

模块三-学生管理系统架构设计文档

迪马

自定义View:如何实现手动拖动的图片控件

Changing Lin

11月日更

终于有人把“元宇宙”说清楚了

CECBC

区块链符号理论:符号方案和符号系统

CECBC

Prometheus HTTP API 查询(六)Prometheus Server 状态和 TSDB 状态

耳东@Erdong

Prometheus PromQL HTTP API 11月日更

鸿蒙的绿野仙踪

脑极体

Alibaba Druid 源码阅读(五)数据库连接池 连接关闭探索

数据库

Alibaba Druid 源码阅读(一) 数据库连接池初步

数据库

C++ 动态新闻推送 第35期

很水

送给正在入行的小白:最全最有用的网络安全学习路线已经安排上了

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

2021年10月券商App行情刷新及交易体验评测报告,兴业证券荣登榜首!

博睿数据

质量基础设施一站式云服务平台搭建,NQI一站式服务平台

电微13828808271

Python代码阅读(第57篇):倒序字符串

Felix

Python 编程 string 阅读代码 Python初学者

【得物技术】得物直播秒开体验提升

得物技术

体验 直播 视频 优化 卡顿

12 K8S之应用容器及Pod资源

穿过生命散发芬芳

k8s 11月日更

ZGC在合合信息HBase平台中的实践

合合信息大数据团队

大数据 性能优化 ZGC HBase 合合信息

详解低延时高音质:回声消除与降噪篇

声网

回声消除 音频体验 RTE技术详解

四大研究成果入选 百度安全在Black Hat Europe 2021再创历史

百度安全

应用安全 百度安全 Black Hat 漏洞利用 恶意软件

接口调用的链路

卢卡多多

接口 11月日更

阿里灵杰产品全面拥抱云原生,双11优惠让企业体会上云便利

阿里云大数据AI技术

大数据 AI 云原生 阿里灵杰

区块链之共识算法系列——PoW(二)

Regan Yue

区块链 11月日更 趣讲区块链

投资元宇宙,如何开启混合现实开发

龙智—DevSecOps解决方案

游戏开发 元宇宙 混合现实

当一名科技女性,决定不再做月亮

脑极体

GrowingIO Design 图标库:从原理到实现

GrowingIO技术专栏

SVG 图标库 Sprites Icon Font GrowingIO Design

C++ 动态新闻推送 第36期

很水

c++

Alibaba Druid 源码阅读(二) 数据库连接池实现初步探索

数据库

Alibaba Druid 源码阅读(三) 数据库连接池初始化探索

数据库

H2O.ai首席架构师谈深度学习的影响和发展障碍_架构_Tina_InfoQ精选文章