写点什么

Gödel:字节跳动在离线混部统一调度系统

  • 2023-12-07
    北京
  • 本文字数:785 字

    阅读完需:约 3 分钟

Gödel:字节跳动在离线混部统一调度系统

2023 年 10 月 30 日至 11 月 1 日,SoCC 2023 将在美国加州 Santa Cruz 举行。字节跳动基础架构-编排调度团队的研究成果被 SoCC 2023 接收,并受邀进行现场报告。


SoCC 会议全称 Annual ACM Symposium on Cloud Computing,是云计算领域顶级会议之一,同时也是 ACM 所有会议当中唯一一个同时被 SIGMOD 和 SIGOPS 赞助的顶会,代表了当前云计算领域在学术界、工业界和开源社区的前沿水平。


SoCC 会议伴随着云计算的兴起而成立,至今已经举办到第 14 届。该会议每年吸引全球顶级研究机构和知名大公司投稿,对系统创新性、完整性、和有效性等方面都要求很高。今年,会议论文的接收率只有 30%。


Gödel: Unified Large-Scale Resource Management and Scheduling at ByteDance


Gödel 是字节跳动基础架构-编排调度团队自主研发、面向大规模云原生基础设施管理的在离线统一调度系统。


字节跳动旗下业务线在过去几年的飞速发展中对计算资源的需求与日俱增,在数据中心的不断膨胀和对计算资源的差异化需求中,原生的 Kubernetes 调度器对于各种在离线业务负载统一托管、资源统一运营都带来了一系列挑战。


在此背景下,Gödel 调度系统应运而生。和 Kubernetes 原生调度器相比,Gödel 能同时在一套集群环境支持各类在离线、机器学习负载混合调度,同时具有高吞吐(up to 10X)、高弹性(sub-minute 资源流转)、高资源利用率(up to 60%)等特点,更好地满足了字节各业务间混合部署、资源并池等部署要求。在满足各形态业务负载 SLA 要求的同时,为计算集群资源统一运营提供了通用平台,进而提高了字节数据中心的资源利用率和任务灵活性,达到降本增效的目的。



Gödel 论文与现场报告将于 10 月底正式亮相 SoCC 2023。届时,字节跳动基础架构团队也将发布该论文的对应解读文章,欢迎持续关注。


目前,字节跳动在离线混部的另一核心组件——资源管控系统 Katalyst 已开源,点击了解社区【编程挑战】!



2023-12-07 11:421635
用户头像

发布了 21 篇内容, 共 11.6 次阅读, 收获喜欢 13 次。

关注

评论

发布
暂无评论
发现更多内容

docker入个门

书旅

Docker 容器 Dockerfile

troubleshoot之:使用JFR分析性能问题

程序那些事

Java 性能分析 jfr

你生日那天的宇宙什么样子知道?我全部给你吧!

我是程序员小贱

学习技术先从学会使用搜索引擎开始

我是程序员小贱

平均负载是什么?

我是程序员小贱

敏捷到底是个什么鬼?

刘华Kenneth

程序员 敏捷 change

MySQL 基准测试

多选参数

MySQL

翻译: Effective Go (6)

申屠鹏会

翻译 Go 语言

1 时间复杂度总结

我是程序员小贱

Apache Mina和Netty的历史

dinstone

Elasticsearch学习

张明森

如何学习一个框架?

云起

Docker搭建PHP+Nginx+MySQL+Redis

书旅

Docker 镜像 lnmp

Rust特征与泛型区别点

编号94530

rust 泛型 封装、继承、多态

翻译: Effective Go (7)

申屠鹏会

翻译 Go 语言

这样看mybatis,谁都会分析源码!

诸葛小猿

源码 mybatis mybatis源码

真正的异步API网关Agate

dinstone

Async API Gateway

MEDO 项目开发中遇到的问题汇总

陈皮

Spring如何选择类构造器

申屠鹏会

翻译 Go 语言

1 学习性能优化的要点

我是程序员小贱

毕玄大佬的分享以及给我的感悟

白色蜗牛

Java 程序员 技术 职场 架构师

如何隐藏你的数据库密码

Rayjun

安全 服务器

阿里、力扣、政采云的15位专家分享前端面试与招聘视角

三钻

面试 大前端

解析 HashMap 源码之基本操作 put

shengjk1

Java hashmap

解析 HashMap 源码概括

shengjk1

Java hashmap

高效程序员的45个习惯:敏捷开发修炼之道(1)

石云升

读书笔记 敏捷开发

航运区块链 抗疫危中有机

CECBC

区块链 航运

让你起飞的20个Linux命令骚操作

我是程序员小贱

解析 hashMap 源码之基本操作 get

shengjk1

Java hashmap

为什么考研,考研能给你带来什么?说说我的感受!

我是程序员小贱

华为的“少年天才”攀登者,出发向智能存储的“奥林帕斯山”

脑极体

Gödel:字节跳动在离线混部统一调度系统_云计算_字节跳动云原生_InfoQ精选文章