【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

基于 K8s 原生扩展的机器学习平台引擎 ML Engine

  • 2020-02-08
  • 本文字数:620 字

    阅读完需:约 2 分钟

基于 K8s 原生扩展的机器学习平台引擎ML Engine

ArchSummit 北京 2019 大会上,褚向阳讲师做了《基于 K8s 原生扩展的机器学习平台引擎 ML Engine》主题演讲,主要内容如下。


演讲简介


CloudML 是小米人工智能部的机器学习平台,随着业务的发展和用户的增多,结合 K8s/Kubeflow 社区对于原生扩展及 ML/DL 平台发展方向,我们提出了基于 K8s 原生扩展的新一代机器学习平台引擎 ML Engine,主要思路是充分利用 K8s 原生的扩展机制,包括 CRD / Webhook / Scheduling Framework 等,将机器学习平台相关的业务模型、控制逻辑和调度策略融入到 K8s 集群中,提供更好的生命周期管理,同时满足高可用、稳定性和易维护性的云原生特性。


内容大纲


  1. 小米 CloudML 平台简介

  2. ML Engine 架构设计演进

  3. ML Engine 对多框架的分布式训练支持详解

  4. 未来发展方向和具体工作


听众受益点


  1. 了解目前机器学习平台所需要解决的问题

  2. 理解使用 K8s 的扩展功能来实现定制需求的方法和优势

  3. 重新思考云原生的机器学习平台架构


讲师介绍


褚向阳,小米人工智能部/高级软件工程师。


2013 年毕业后加入红帽软件,吸收开源文化,接触 OpenStack 和 IaaS 平台相关技术。2015 年底开始加入容器云创业公司,参与打造容器化的 PaaS 平台,2018 年加入小米人工智能部,负责小米机器学习平台的建设,重点支持各个框架的分布式训练,订制优化 K8s 调度,努力提高平台用户体验的同时保证集群利用率。持续关注 Kubeflow 社区及性能优化相关开源项目发展。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-08 18:41759

评论

发布
暂无评论
发现更多内容

R-Drop论文复现与理论讲解

华为云开发者联盟

人工智能 华为云 深度神经网络 华为云开发者联盟 企业号 3 月 PK 榜

解决mac电脑打开应用“意外退出”的问题 (点按“重新打开”以再次打开应用程序)

魔仙苹果mac堡

PHPStorm 意外退出 mac电脑

FDF循环互助游戏系统开发智能合约搭建

薇電13242772558

智能合约

探索以小程序提升运维效率

Onegun

运维 小程序容器

融云入选中国信通院《高质量数字化转型产品及服务全景图》

融云 RongCloud

产品 数字化 通讯

MMMBSC互助基金系统开发智能合约部署

薇電13242772558

智能合约 dapp

搬得进来,搬得出去!快来过一把数据迁移的“瘾”

OceanBase 数据库

数据库 oceanbase

React等前端框架如何与小程序结合

Onegun

前端 前端框架 React Vue 3

京东云RASP云原生安全免疫创新实践

京东科技开发者

Web 安全 漏洞 业务安全 企业号 3 月 PK 榜

数据测试实践:从一个bug开始的大数据引擎兼容性探索

京东科技开发者

大数据 bug修复 引擎 测试数据构造 企业号 3 月 PK 榜

适用于 Apple Silicon (M1芯片)的 Photoshop常见问题及解决方案

魔仙苹果mac堡

PhotoShop PS常见问题

M1电脑运行Windows10弹出“内部版本已过期”的解决方法

Rose

pd虚拟机 M1电脑 Windows内部版本已经过期

动转静两大升级!一键转静成功率领先,重点模型训练提速18%+

飞桨PaddlePaddle

人工智能 百度 飞桨 PaddlePaddle 框架解析

Higress on K8s 5分钟开箱即用

阿里巴巴中间件

阿里云 云原生 Higress

取得成功的 13 个方法

宇宙之一粟

个人成长 翻译 成功

用户分享 | 达梦第三方客户端DockQuery使用体会

BinTools图尔兹

数据库 用户体验 国产数据库工具

Dubbo Triple 协议

昵称不能为null

dubbo RPC triple协议

跨端技术或许是提升软件运维效率的利器

FinFish

小程序化 小程序技术 高效运维 软件运维

瓴羊Quick BI:“3端4表4擎、3+NPlus”得到众多行业内部人士的认可!

对不起该用户已成仙‖

小程序技术如何提升企业的移动研发效率?

FinFish

降本增效 小程序容器 移动研发 小程序技术

秒懂算法 | 搜索基础

TiAmo

DFS BFS 搜索算法

精选案例 | 博睿数据30w+监测节点护航新华网、人民网两会重保工作

博睿数据

可观测性 智能运维 博睿数据 精选案例 主动式拨测

云智慧助力中国信通院组装式应用开发平台系列标准建设

云智慧AIOps社区

你代码的异味是故意的还是不小心?是故意的!

禅道项目管理

探索 Pixelmator Pro 3新功能——AI智能模板

Rose

Pixelmator Pro Mac修图软件

技术沙龙 | 探索软件测试前沿技术及最佳实践,体验ChatGPT在测试领域中的应用

测试人

软件测试 沙龙 ChatGPT

OceanBase 生态产品:时序数据库CeresDB 正式发布 1.0 版本

OceanBase 数据库

数据库 oceanbase

TypeScript 与 JavaScript:你应该知道的区别

京东科技开发者

JavaScript typescript 前端 后端 企业号 3 月 PK 榜

聊聊线上发布这件事

老张

软件测试 权限管理 服务部署

ins视频保姆级图文教程,快学起来!

frank

Vineyard 论文被 SIGMOD'2023 接收,助力计算引擎之间高效数据交换

阿里巴巴中间件

阿里云 计算引擎

基于 K8s 原生扩展的机器学习平台引擎ML Engine_ArchSummit_褚向阳_InfoQ精选文章