QCon 全球软件开发大会(北京站)门票 9 折倒计时 4 天,点击立减 ¥880 了解详情
写点什么

Apache Hadoop 机器学习引擎 Submarine 及生态

2019 年 8 月 09 日

Apache Hadoop 机器学习引擎 Submarine 及生态

QCon北京2019大会上,刘勋讲师做了《Apache Hadoop 机器学习引擎 Submarine 及生态》主题演讲,主要内容如下。


演讲简介


Submarine 是 Hadoop 和 Zeppelin 社区联合开发的机器学习平台,支持 Tensorflow, Pytorch 等机器学习框架以单机或着分布式的方式运行在 Kubernetes 和 YARN 中。


在 Zeppelin 中进行可视化等交互式算法开发,模型训练作业提交,模型发布和工作流编排,通过 Zeppelin Spark Interpreter 进行数据加工处理,通过 Zeppelin Flink Interpreter 进行模型的在线推测和模型增量更新。


网易杭研大数据团队是 Hadoop Submarine 项目的主要贡献者之一,我们从零开始和社区一起构建 Submarine 的生态系统。现在你已经可以通过使用 Submarine-installer 你可以轻松的安装和部署 NVIDIA-Docker,ETCD,Calico 等这些机器学习运行环境,在 Zeppelin 中以可视化交互 Notebook 方式的进行 Spark 机器学习前的数据加工处理, 再进行 Tensorflow 的 Pythone 算法开发和验证,在 Zeppelin 中完成机器学习作业的数据处理和模型训练全链路的 Workflow 的编排,周期性的在 Kubernetes/Hadoop 中进行离线模型训练。 Submarine 的生态系统中所有代码和文档都已经开源,并合并进入 Hadoop 、Zeppelin 项目主干分支,让你可以零开发成本的搭建自己的机器学习开发平台。


听众受益

  1. 了解可以同时支持 Kubernetes 和 YARN 的机器学习平台项目 Submarine 的最新进展;

  2. 通过 Zeppelin 进行可视化交互式的机器学习算法开发的方法;

  3. 如何零成本的使用 Submarine 项目和配套的生态系统搭建自己的机器学习开发平台。


讲师介绍


刘勋


网易杭州研究院 机器学习开发组负责人


刘勋,2001 年工作以来有着十七年的商业软件开发经验,其中四年互联网创业经历,五年大数据领域开发工作经验,Zeppelin Committer 和 Hadoop Contributor。


现任网易杭州研究院数据科学中心机器学习开发组负责人,主要从事网易猛犸大数据平台 Hadoop 和机器学习平台相关开发工作。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019 年 8 月 09 日 00:006424

评论

发布
暂无评论
发现更多内容

架构师训练营1期 -- 第一周作业

曾彪彪

极客大学架构师训练营

天猫成立房产部门,利用区块链承载交易多项服务功能

CECBC区块链专委会

区块链 房地产

区块链技术智能合约有哪些实际的应用场景

CECBC区块链专委会

智能合约 区块链技术

DDD+微服务实战:什么是DDD?

AI代笔

微服务 领域驱动设计 DDD

架构师训练营第一周学习总结

邓昀垚

极客大学架构师训练营

数字资产钱包开发方案,区块链数字钱包软件源码

13530558032

架构大作业

赵龙

Week15

一叶知秋

数字经济时代来临 区块链护航数字资产安全

CECBC区块链专委会

金融 数字时代

Spring Boot CLI 介绍

hungxy

Spring Boot Spring Boot CLI

Java-技术专题-AQS和Volatile和Synchronized实现原理

李浩宇/Alex

赞!腾讯T4分享web性能笔记,竟包含大量网络协议的优化技巧

周老师

Java 编程 程序员 架构 面试

为什么企业需要CRM系统?CRM的作用及其重要性分析

力软.net/java开发平台

软件开发 信息化 CRM

Java程序员博客系统推荐!我调研了100来个 Java 开源博客系统,发现这 5 个最好用!

云流

Java 项目管理 计算机 框架设计

甲方日常 17

句子

生活 随笔杂谈

易观方舟Argo+CRM | 让企业数据发挥更大价值

易观大数据

大作业 一

Jaye

一文详解分布式缓存(附代码)

架构师修行之路

缓存 分布式 分布式缓存

What’s New in Dubbo-go-hessian2 v1.7.0

apache/dubbo-go

golang 服务端 dubbo-go

区块链支付系统开发技术方案,USDT支付系统搭建

13530558032

银行数仓体系发展之路

易观大数据

Java-技术专题-JMX超详细解读

李浩宇/Alex

面试官:你说说互斥锁、自旋锁、读写锁、悲观锁、乐观锁的应用场景

小林coding

乐观锁 高并发 操作系统 计算机基础

数字货币交易所技术开发,交易所源码

13530558032

架构师训练营第 1 期-第一周命题作业

arthur

架构师训练营第一周作业

邓昀垚

架构知识总结

飞雪

智慧公安重点人员管控系统平台开发,智慧警务系统

13530558032

本以为自己MySQL够牛逼了,直到亲自去阿里受虐了一次!

Java架构师迁哥

TCP和HTTP中的KeepAlive机制总结

陈德伟

nginx TCP 性能 网络 HTTP

华为HMS的“生态雪球”,滚动在万物智联的新跑道

脑极体

边缘计算隔离技术的挑战与实践

边缘计算隔离技术的挑战与实践

Apache Hadoop 机器学习引擎 Submarine 及生态-InfoQ