写点什么

Gödel:字节跳动在离线混部统一调度系统

  • 2023-12-07
    北京
  • 本文字数:785 字

    阅读完需:约 3 分钟

Gödel:字节跳动在离线混部统一调度系统

2023 年 10 月 30 日至 11 月 1 日,SoCC 2023 将在美国加州 Santa Cruz 举行。字节跳动基础架构-编排调度团队的研究成果被 SoCC 2023 接收,并受邀进行现场报告。


SoCC 会议全称 Annual ACM Symposium on Cloud Computing,是云计算领域顶级会议之一,同时也是 ACM 所有会议当中唯一一个同时被 SIGMOD 和 SIGOPS 赞助的顶会,代表了当前云计算领域在学术界、工业界和开源社区的前沿水平。


SoCC 会议伴随着云计算的兴起而成立,至今已经举办到第 14 届。该会议每年吸引全球顶级研究机构和知名大公司投稿,对系统创新性、完整性、和有效性等方面都要求很高。今年,会议论文的接收率只有 30%。


Gödel: Unified Large-Scale Resource Management and Scheduling at ByteDance


Gödel 是字节跳动基础架构-编排调度团队自主研发、面向大规模云原生基础设施管理的在离线统一调度系统。


字节跳动旗下业务线在过去几年的飞速发展中对计算资源的需求与日俱增,在数据中心的不断膨胀和对计算资源的差异化需求中,原生的 Kubernetes 调度器对于各种在离线业务负载统一托管、资源统一运营都带来了一系列挑战。


在此背景下,Gödel 调度系统应运而生。和 Kubernetes 原生调度器相比,Gödel 能同时在一套集群环境支持各类在离线、机器学习负载混合调度,同时具有高吞吐(up to 10X)、高弹性(sub-minute 资源流转)、高资源利用率(up to 60%)等特点,更好地满足了字节各业务间混合部署、资源并池等部署要求。在满足各形态业务负载 SLA 要求的同时,为计算集群资源统一运营提供了通用平台,进而提高了字节数据中心的资源利用率和任务灵活性,达到降本增效的目的。



Gödel 论文与现场报告将于 10 月底正式亮相 SoCC 2023。届时,字节跳动基础架构团队也将发布该论文的对应解读文章,欢迎持续关注。


目前,字节跳动在离线混部的另一核心组件——资源管控系统 Katalyst 已开源,点击了解社区【编程挑战】!



2023-12-07 11:421694
用户头像

发布了 21 篇内容, 共 11.9 次阅读, 收获喜欢 13 次。

关注

评论

发布
暂无评论
发现更多内容

二十、深入Python迭代器和生成器

刘润森

Python

数据结构与算法系列之链表操作全集(一)(GO)

书旅

数据结构 数据结构和算法 Go 语言

vivo 商城前端架构升级—前后端分离篇

vivo互联网技术

Java 大前端 前后端分离

架构师必备的那些分布式事务解决方案!!

架构师修行之路

分布式 微服务 架构设计

深入java week1-01 字节码、内存、GC、调试工具

闷骚程序员

【线上排查实战】AOP切面执行顺序你真的了解吗

Zhendong

spring aop

央行数字货币离我们还有多远?

CECBC

数字货币

算法分析关键

Geek_0b8195

算法和数据结构

架构训练营学习笔记之五技术选型(一)

于成龙

架构训练营

一个草根的日常杂碎(10月20日)

刘新吾

随笔杂谈 生活记录 社会百态

游戏数值策划之常用excel函数

吴优秀同学

Excel 游戏

Linux的上手命令

Linux 常用命令

Go语言内存管理三部曲(三)图解GC算法和垃圾回收原理

网管

内存管理 垃圾回收 GC GC算法 Go 语言

甲方日常 35

句子

工作 随笔杂谈 日常

1分钟带你入门 React 公共逻辑抽离HOC...

Leo

大前端 React Hooks HOC Render Props

聊聊技术人员如何学习成长

架构精进之路

职业成长

一个草根的日常杂碎(10月18日)

刘新吾

随笔杂谈 生活记录 社会百态

mongodb 源码实现、调优、最佳实践系列-百万级代码量mongodb内核源码阅读经验分享

gmoy-tencent

MySQL mongodb 源码 中间件 分布式数据库mongodb

Flink窗口算子-6-8

小知识点

scala 大数据 flink

解析 CloudQuery 审计分析功能

BinTools图尔兹

数据库 sql 安全 工具软件

万物互联的IoT时代,柔性电子会大行其道吗?

脑极体

架构师训练营 1 期 -- 第五周作业

曾彪彪

极客大学架构师训练营

架构必修:领域边界划分方法--职责驱动设计(RDD)

马迪奥

架构 领域 架构师 RDD

分布式下,我想要一致性

架构师修行之路

分布式 微服务

java week1练习

闷骚程序员

第四周作业

dll

Nginx 在运维领域中的应用,看这一篇就够了

华章IT

nginx Linux 运维工程师

一个草根的日常杂碎(10月19日)

刘新吾

随笔杂谈 生活记录 社会百态

利用区块链等技术,加强对交通运输信用信息的归集共享和分析应用

CECBC

区块链 交通运输

年纪轻轻怎么就卵巢早衰了?试管可帮忙!

Geek_65d32f

试管 三代试管

typora增强-mac

老菜鸟

Typora

Gödel:字节跳动在离线混部统一调度系统_云计算_字节跳动云原生_InfoQ精选文章