写点什么

H2O.ai 首席架构师谈深度学习的影响和发展障碍

  • 2016-03-14
  • 本文字数:1982 字

    阅读完需:约 7 分钟

H2O 是一个分布式可伸缩性开源机器学习平台,领先的为分布式计算集群设计的开源内存片内机器学习平台,附带开源 Java 代码、具有公开可用可伸缩的机器学习,整合了日常工具如 R,Python,Hadoop 和 spark 等等。

现在已经有很多深度学习开源实现,比较流行的是: Torch Theano Caffe Petuum Deep4J ,以及 H2O 。对于 H2O 的深度学习,他们将一些小技巧结合起来,使它成为一个非常强大的方法。例如,具有自动自适应权重初始化,自动数据标准化,扩展分类数据,自动处理缺失值,自动自适应学习率,各种正则化技术,自动性能优化,负载均衡,N 倍交叉验证,检查点,并在集群用于大型数据集不同的分布式训练模式。而最好的事情是,用户并不需要了解神经网络的任何东西,也没有复杂的配置文件。对于有能力的用户,另外还有不少(详细)选项,使他们能够精细控制学习过程。

Arno Candel 是 H2O.ai 的首席架构师,获评为 2014 财富大数据全明星之一。也是 H2O.ai 开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进 H2O 机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访

你是如何开始深度学习方面的工作的?

“我从 2013 年 11 月加入 H2O.ai 时开始分布式深度学习的工作。我第一个任务是改善现有代码,针对有名的 MNIST 数据集取得有竞争力的表现。几周后,我用全连通前向传输神经网络加上输入 dropout 取得了创纪录的最低测试集错误率。此后,H2O 深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响?

“大多数人类活动已经是基于数据信息,其中很多会变成数据驱动。IoT 本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统,销售业的个性化购物,家用设施的自动化,金融里的 p2p 借贷,还是汽车工业里兴起的自动驾驶汽车,我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的,而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些?

“它是硬件、软件和数据可公开获取的结果。神经网络的研究,由于计算机和已标示数据更容易获取,在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么?

“从阅读论文中提出的新方法,到推出一个可靠可伸缩的系统产品,两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习,特别是深度学习发展的步伐,还停留在过时的基于规则或简单统计模型的方法,它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法,他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下,改善模型可读性和降低模型复杂度上面。”

H2O.ai 下一步会做什么?

“在 H2O.ai,我们的工程师正在改善现有机器学习算法并添加新的内容,但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai 独一无二的地方在于它是以客户为中心的公司,但是我们的产品是开源的,任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展?

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律,还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度,最终拿到一个更简单的基础组建模块,可以学习得一样好,甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学,并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域,有很多发展在朝着这一方向。例如,新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域,而不是一次就搜索所有地方。其他的一些想法,包括 Hinton 针对模型压缩和专家网络的暗知识概念。”

你对哪些技术用在日常生活感到兴奋?你认为它们什么时候可以实现?

“我简直等不及有一款机器人能烹饪 12 道菜米其林评级的晚饭,然后在我和家人坐在餐桌边的按摩椅上时给我们上菜(ok,这部分比较容易)。精确的把握时间以及餐后清洁也不错。查理卓别林在《摩登时代》让我们见识过一团糟的场景。可惜我们时隔 80 年依然没有多大进展,但是我希望深度学习可以或多或少加快发展速度。”


感谢黄玲艳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-03-14 16:504005
用户头像
Tina InfoQ高级编辑

发布了 1655 篇内容, 共 1328.6 次阅读, 收获喜欢 4004 次。

关注

评论

发布
暂无评论
发现更多内容

第11代酷睿处理器出色体验的奥秘原来是这个!

E科讯

对于CRM之于现代化企业的影响以及作用的分析

Learun

敏捷开发 CRM 客户关系管理

DocView 现在支持自定义 Markdown 模版了!

程序员小航

markdown IDEA idea插件 文档生成

从资源管理角度认识K8S

LorraineLiu

Kubernetes 云原生 k8s k8s入门

年轻人你不讲武德,自己偷着学习!spring Security五套「源码级」笔记哪里来的?我也要!

Java架构追梦

Java 源码 架构 面试 spring security

2020年10月公有云性能评测:盛大云-华东蝉联冠军,腾讯云-北京无缘前三

博睿数据

云计算 腾讯云 ucloud 公有云 评测

架构师训练营第 1 期 -week9

习习

软件测试流程

测试人生路

软件测试

区块链能修复企业云计算吗?

CECBC

区块链 云计算

SpringCloud Alibaba微服务实战二 - 服务注册

AI乔治

Java 架构 微服务 Spring Cloud

基于ELK的日志平台介绍

Rayzh

ELK 日志系统

重点人员管控系统开发,情报研判系统搭建

t13823115967

重点人员管控系统开发 情报研判系统搭建

anyRTC uni-app 跨平台SDK 发布!总有一款适合你!

anyRTC开发者

uni-app 音视频 WebRTC RTC

面试官都爱问的ThreadLocal

执墨

ThreadLocal 哈希表 弱引用

利用区块链数字化人民币,中国有望从追随者变为新秩序的领导者

CECBC

区块链 数字人民币

前端如何实现一键截图功能?

徐小夕

Java 大前端 React

训练营第5周学习总结

爱码士

训练营

探秘RocketMQ源码【1】——Producer视角看事务消息

阿里云金融线TAM SRE专家服务团队

开源 RocketMQ 中间件 消息中间件

新思科技:ISO/SAE 21434标准即将发布 你准备好了吗?

InfoQ_434670063458

新思科技 汽车软件安全

阿里P8熬夜完成这两份800页Java面试核心知识原理+框架

Java~~~

Java 程序员 面试 编程语言 架构师

区块链的常识之,什么是区块链股份授权证明机制DPoS?

CECBC

区块链 共识机制

大整数算法

落曦

聊聊在国企当程序员的这三年,这样的生活真的是你想要的吗?

Java架构师迁哥

SpringCloud Alibaba微服务实战一基础环境准备

AI乔治

Java 架构 微服务 Spring Cloud

区块链司法可信存证,版权维护应用落地

t13823115967

区块链司法可信存证 版权维护应用落地

想了解物联网应用的自动部署,看这篇就够了

华为云开发者联盟

服务器 华为云 部署

linux开发各种I/O操作简析,以及select、poll、epoll机制的对比

良知犹存

linux开发

OpenKruise:阿里巴巴 双11 全链路应用的云原生部署基座

阿里巴巴云原生

Kubernetes 运维 云原生 中间件 存储

今年最火的 Golang 云原生开源项目,可能就是它了!

阿里巴巴云原生

开源 Kubernetes 云原生 Go 语言

数据库:我没有带闪,不讲武德

比伯

Java 编程 程序员 面试 计算机

一文带你读懂!华为云在ACMUG技术沙龙上都透露了些啥?

华为云开发者联盟

数据库 大数据 数据

H2O.ai首席架构师谈深度学习的影响和发展障碍_架构_Tina_InfoQ精选文章