【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

基于 K8s 原生扩展的机器学习平台引擎 ML Engine

  • 2020-02-08
  • 本文字数:620 字

    阅读完需:约 2 分钟

基于 K8s 原生扩展的机器学习平台引擎ML Engine

ArchSummit 北京 2019 大会上,褚向阳讲师做了《基于 K8s 原生扩展的机器学习平台引擎 ML Engine》主题演讲,主要内容如下。


演讲简介


CloudML 是小米人工智能部的机器学习平台,随着业务的发展和用户的增多,结合 K8s/Kubeflow 社区对于原生扩展及 ML/DL 平台发展方向,我们提出了基于 K8s 原生扩展的新一代机器学习平台引擎 ML Engine,主要思路是充分利用 K8s 原生的扩展机制,包括 CRD / Webhook / Scheduling Framework 等,将机器学习平台相关的业务模型、控制逻辑和调度策略融入到 K8s 集群中,提供更好的生命周期管理,同时满足高可用、稳定性和易维护性的云原生特性。


内容大纲


  1. 小米 CloudML 平台简介

  2. ML Engine 架构设计演进

  3. ML Engine 对多框架的分布式训练支持详解

  4. 未来发展方向和具体工作


听众受益点


  1. 了解目前机器学习平台所需要解决的问题

  2. 理解使用 K8s 的扩展功能来实现定制需求的方法和优势

  3. 重新思考云原生的机器学习平台架构


讲师介绍


褚向阳,小米人工智能部/高级软件工程师。


2013 年毕业后加入红帽软件,吸收开源文化,接触 OpenStack 和 IaaS 平台相关技术。2015 年底开始加入容器云创业公司,参与打造容器化的 PaaS 平台,2018 年加入小米人工智能部,负责小米机器学习平台的建设,重点支持各个框架的分布式训练,订制优化 K8s 调度,努力提高平台用户体验的同时保证集群利用率。持续关注 Kubeflow 社区及性能优化相关开源项目发展。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-08 18:41750

评论

发布
暂无评论
发现更多内容

腾讯良心了?!!!

Jackpop

【Flutter 专题】61 图解基本 Button 按钮小结 (一)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

elasticsearch7.13.4 ik中文分词器安装

Rubble

8月日更

博客升级之在线代码编辑器

devpoint

vscode 编辑器 8月日更

仿TP钱包开发,去中心化钱包源码开发

手撸二叉树之根据二叉树创建字符串

HelloWorld杰少

数据结构与算法 8月日更

人工智能下的音频还能这样玩!!!!

Python研究者

8月日更

Linux 虚拟文件系统(VFS)分析

赖猫

Linux 文件系统

架构训练营第 1 期 模块五作业

高远

硬盘空间免费扩容了2TB!!!

Jackpop

程序员必备!5款小众高效的开发神器

Jackpop

服务发现机制SPI居然是破坏者!

4ye

Java 源码 后端 sping 8月日更

Python代码阅读(第15篇):列表求交集

Felix

Python 编程 Code Programing 阅读代码

你可能不知道的css动画性能

云小梦

CSS layout requestAnimationFrame 重排和重绘 will-change

Go字符串拼接最佳实践

Rayjun

Go 语言

【Vue2.x 源码学习】第四十二篇 - 组件部分 - 组件挂载流程简述

Brave

源码 vue2 8月日更

为什么要选择filecoin矿机挖矿?为什么不直接购买filecoin?

分布式存储 IPFS Filecoin fil挖矿 fil矿机

前端基础六之jQuery效果

ベ布小禅

8月日更

Go,一文搞懂 string 实现原理

微客鸟窝

Go 语言 8月日更

ndk-build 脚本

Changing Lin

8月日更

从0开始的TypeScriptの十二:装饰器

空城机

JavaScript typescript 大前端 8月日更

质量基础设施一站式服务平台搭建,NQI平台搭建

fil币怎么挖矿?fil挖矿怎么挖?

fil挖矿怎么挖 fil币怎么挖矿

帮小姐姐打分系统的模型创建,滚雪球学 Python 第三轮第 11 篇

梦想橡皮擦

8月日更

MySQL 系列教程之(十)索引原理:B+ 树与索引

若尘

MySQL 数据库 8月日更

☕【Java技术指南】「并发原理专题」AQS的技术体系之CLH、MCS锁的原理及实现

洛神灬殇

AQS 8月日更 MCS锁 CLH锁

网络攻防学习笔记 Day112

穿过生命散发芬芳

网络安全 8月日更

管道(Channel)的读取与写入「让我们一起Golang」

Regan Yue

协程 Go 语言 8月日更 管道

vue入门:router路由简介与使用

小鲍侃java

8月日更

万企明道成立八周年,邀你书写留言!

明道云

先「干」,就对了

非著名程序员

个人成长 职场 认知提升 8月日更

基于 K8s 原生扩展的机器学习平台引擎ML Engine_ArchSummit_褚向阳_InfoQ精选文章