写点什么

H2O.ai 首席架构师谈深度学习的影响和发展障碍

  • 2016-03-14
  • 本文字数:1982 字

    阅读完需:约 7 分钟

H2O 是一个分布式可伸缩性开源机器学习平台,领先的为分布式计算集群设计的开源内存片内机器学习平台,附带开源 Java 代码、具有公开可用可伸缩的机器学习,整合了日常工具如 R,Python,Hadoop 和 spark 等等。

现在已经有很多深度学习开源实现,比较流行的是: Torch Theano Caffe Petuum Deep4J ,以及 H2O 。对于 H2O 的深度学习,他们将一些小技巧结合起来,使它成为一个非常强大的方法。例如,具有自动自适应权重初始化,自动数据标准化,扩展分类数据,自动处理缺失值,自动自适应学习率,各种正则化技术,自动性能优化,负载均衡,N 倍交叉验证,检查点,并在集群用于大型数据集不同的分布式训练模式。而最好的事情是,用户并不需要了解神经网络的任何东西,也没有复杂的配置文件。对于有能力的用户,另外还有不少(详细)选项,使他们能够精细控制学习过程。

Arno Candel 是 H2O.ai 的首席架构师,获评为 2014 财富大数据全明星之一。也是 H2O.ai 开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进 H2O 机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访

你是如何开始深度学习方面的工作的?

“我从 2013 年 11 月加入 H2O.ai 时开始分布式深度学习的工作。我第一个任务是改善现有代码,针对有名的 MNIST 数据集取得有竞争力的表现。几周后,我用全连通前向传输神经网络加上输入 dropout 取得了创纪录的最低测试集错误率。此后,H2O 深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响?

“大多数人类活动已经是基于数据信息,其中很多会变成数据驱动。IoT 本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统,销售业的个性化购物,家用设施的自动化,金融里的 p2p 借贷,还是汽车工业里兴起的自动驾驶汽车,我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的,而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些?

“它是硬件、软件和数据可公开获取的结果。神经网络的研究,由于计算机和已标示数据更容易获取,在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么?

“从阅读论文中提出的新方法,到推出一个可靠可伸缩的系统产品,两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习,特别是深度学习发展的步伐,还停留在过时的基于规则或简单统计模型的方法,它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法,他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下,改善模型可读性和降低模型复杂度上面。”

H2O.ai 下一步会做什么?

“在 H2O.ai,我们的工程师正在改善现有机器学习算法并添加新的内容,但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai 独一无二的地方在于它是以客户为中心的公司,但是我们的产品是开源的,任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展?

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律,还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度,最终拿到一个更简单的基础组建模块,可以学习得一样好,甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学,并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域,有很多发展在朝着这一方向。例如,新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域,而不是一次就搜索所有地方。其他的一些想法,包括 Hinton 针对模型压缩和专家网络的暗知识概念。”

你对哪些技术用在日常生活感到兴奋?你认为它们什么时候可以实现?

“我简直等不及有一款机器人能烹饪 12 道菜米其林评级的晚饭,然后在我和家人坐在餐桌边的按摩椅上时给我们上菜(ok,这部分比较容易)。精确的把握时间以及餐后清洁也不错。查理卓别林在《摩登时代》让我们见识过一团糟的场景。可惜我们时隔 80 年依然没有多大进展,但是我希望深度学习可以或多或少加快发展速度。”


感谢黄玲艳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-14 16:504019
用户头像
Tina InfoQ高级编辑

发布了 1663 篇内容, 共 1335.8 次阅读, 收获喜欢 4006 次。

关注

评论

发布
暂无评论
发现更多内容

Spring高手之路17——动态代理的艺术与实践

砖业洋__

spring aop JDK动态代理 CGLIB动态代理

支付系统概述(六):收银台

agnostic

支付系统设计与实现

鸿蒙原生应用《隐私协议静态共享库》

坚果

HarmonyOS HarmonyOS框架

鸿蒙原生应用三方库《日历转换器》

坚果

HarmonyOS 坚果派 HarmonyOS框架

事业-最佳实践-编码-单元测试-提升代码可测试性

南山

最佳实践 测试 单元测试 代码质量 可测试性

事业-最佳实践-编码-类大小衡量方式

南山

最佳实践 代码质量 单一职责 类大小 编码最佳实践

构建多功能DApp项目:质押、私募、DeFi、分红等功能详解

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

探索社交App商机:视频直播App、语聊陪玩、1v1约会App必不可少

山东布谷科技胡月

短视频直播系统 1v1交友app开发 语聊平台 海外社交APP 短剧app开发

2024-04-13:用go语言,给定一个整数数组 `nums`, 请编写一个函数,返回一个新的数组 `counts`。 满足以下条件:对于每个 `nums[i]`, `counts[i]` 表示在

福大大架构师每日一题

福大大架构师每日一题

一个“敏捷”项目复盘的思考

Bruce Talk

敏捷开发 Agile 回顾会 Retrospective

事业-最佳实践-编码-命名规范

南山

最佳实践 代码质量 命名规范 类命名 方法命名

事业-最佳实践-编码-日志输出规范

南山

最佳实践 日志 代码质量 日志规范 编码基础

鸿蒙HarmonyOS实战-ArkTS语言(基本语法)

蜀道山

typescript 鸿蒙 HarmonyOS 鸿蒙系统 ArkTS

鸿蒙HarmonyOS实战-ArkTS语言(状态管理)

蜀道山

鸿蒙 HarmonyOS 鸿蒙系统 ArkTS

《自动机理论、语言和计算导论》阅读笔记:p139-p171

codists

编译原理

一座计算“立交桥”,让新质生产力从湘江水畔到中国大地

脑极体

算力

个人介绍-第一篇博文

Geek_e575df

大公司的Java面试题集

程序员李木子

Java Java 面试题

手把手带你申请Sora内测资格,附申请提示词

蓉蓉

openai ChatGPT4 sora

最新软件测试技术-2024

Geek_e575df

构建区块链质押挖矿系统:DApp质押挖矿系统开发需求详解

区块链软件开发推广运营

dapp开发 区块链开发 NFT开发 公链开发

对某个通用字段进行加解密或者是脱敏处理

想要飞的猪

数据脱敏 字段加密

一款基于AB32VG1的桌面智能坞

芯动大师

程序设计 开发板 12864 OLED液晶显示屏

Amazon Q:对话智能赋能企业发展

亚马逊云科技 (Amazon Web Services)

#人工智能

查看自动类型推导结果的方法

爱分享

编辑器 代码规范 C++11 C++ modern C++

H2O.ai首席架构师谈深度学习的影响和发展障碍_架构_Tina_InfoQ精选文章