写点什么

Volcano 在 Kubernetes 中运行高性能作业实践

  • 2019-08-13
  • 本文字数:545 字

    阅读完需:约 2 分钟

Volcano 在 Kubernetes 中运行高性能作业实践

ArchSummit深圳2019大会上,马达讲师做了《Volcano 在 Kubernetes 中运行高性能作业实践》主题演讲,主要内容如下。


演讲简介


随着 Kubernetes 的成熟,越来越多的用户希望 Kubernetes 可以作为统一平台同时支持在线业务和离线业务;但在支持离线任务方面 Kubernetes 还有很多不足,例如,Gang-scheduling, Fair-Share, Queue 等。Volcano 是基于 Kubernetes 的,运行离线作业/高性能作业的系统;支持主流的高性能作业负载,包括:机器学习/深度学习,生物信息学/基因组学,以及其他“大数据”应用程序。


在本次演讲中将介绍 Volcano 的总体架构,运行离线作业常见的问题及解决方案,与各个框架的集成情况以及对高性能工作负载的优化,并演示相应的功能和性能提升。


演讲提纲


  1. Volcano 总休架构

  2. Kubernetes 运行离线作业的问题及解决方案

  3. Volcano 与各个 AI 框架集成情况

  4. 总体性能优化

  5. 演示


听众受益点


  1. 如何在社区中运营一个开源项目

  2. 如何使用 Kubernetes 来运行 AI 等高性能作业

  3. 如何优化 Kubernetes 来支持计算类任务


讲师介绍


马达


华为云 技术专家


Kubernetes Scheduling 兴趣组联合负责人,Volcano 项目发起人及负责人。曾任职 IBM 架构师,IBM Spectrum Symphony 客户工程及维护负责人。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-13 00:002504

评论

发布
暂无评论
发现更多内容

英特尔以多元化至强产品路线图 助推行业强势发展

科技新消息

听见“SHE”说丨OpenHarmony Ladies不被定义的“AWESOME”

OpenHarmony开发者

OpenHarmony 热门活动 女性力量

iuap助力明日控股打造大宗贸易业财一体化中台

用友BIP

用友 用友iuap

【有奖体验】:2分钟自动化部署2048小游戏到ECS

阿里云云效

阿里云 云原生 CI/CD 自动化部署 ECS

极光笔记 | 基于Robotframework框架进行服务端SDK的自动化(C++版本)

极光JIGUANG

c++

java培训:判断元素是不是在集合里的方法

@零度

JAVA开发

web前端培训:WEB 安全相关面试题分享

@零度

前端开发 WEB安全

面试突击29:说一下线程池7个参数的含义?

王磊

Java 面试 java面试

【技术分享】猪八戒网DevOps之Java组件安全检测

八戒技术团队

Java DevOps 安全检测

低代码实现探索(三十六)表达式组件—基础组件的组件

零道云-混合式低代码平台

华云数据加入龙蜥社区,推动开源产业快速有序成长

OpenAnolis小助手

云计算 Linux 开源 操作系统 国产

搭建 Restful Web 服务

码语者

REST API

15张图呈现数据库事务背后的并发原理

华为云开发者联盟

数据库 事务 并发 隔离

一文看懂JVM运行时内存分布

黄林晴

JVM

浅析人脸识别算法及其应用

得物技术

机器学习 算法 人脸识别 视觉 人脸

Apsara Stack 技术百科|云+应用一体化混合云全景智能化监控平台

科技互联网 企业数字化转型 混合云技术 混合云架构

阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

阿里云大数据AI技术

深度学习 开源 分布式 框架

今天直播:datop——用在冷热内存识别和跨 numa 访存有多优秀?

OpenAnolis小助手

Linux 开源 技术直播

如何设置Perforce类型映射(P4类型映射)

龙智—DevSecOps解决方案

版本控制 游戏开发 二进制文件 游戏引擎 虚拟引擎

紧急扩散!HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420,极端情况下会造成数据丢失!

明哥的IT随笔

hdfs

中国协同办公服务软件,你更看好哪一款?

易观分析

协同办公软件

WhiteSource SAST:下一代应用程序安全

龙智—DevSecOps解决方案

静态应用安全测试 SAST

Android技术分享| anyLive 开源项目

anyRTC开发者

android 音视频 开源项目 移动开发 视频直播

大数据培训:偶然看到大数据面试题,拿出来分享

@零度

大数据 面试题

华为云携手甘肃省医疗保障局,以数字科技为智慧医疗注入新动能

华为云数据库小助手

华为云数据库 华为云DRS 智慧医疗

基于 Nebula Graph 构建图学习能力

NebulaGraph

数据库 开源 分布式图数据库 机器学习数据库

使用 Docker 一键启动环境安装 ModStart

ModStart开源

春季招聘|Rust开发工程师们,欢迎加入!

非凸科技

使用AppleScript批量删除Mac中的信息

CRMEB

诚邀参与 | OpenHarmony校园极客秀征文活动

OpenHarmony开发者

极客 OpenHarmony 征文活动

量子时代已来,与时代接轨,从这本书开始!

博文视点Broadview

Volcano 在 Kubernetes 中运行高性能作业实践_ArchSummit_马达_InfoQ精选文章