写点什么

Gödel:字节跳动在离线混部统一调度系统

  • 2023-12-07
    北京
  • 本文字数:785 字

    阅读完需:约 3 分钟

Gödel:字节跳动在离线混部统一调度系统

2023 年 10 月 30 日至 11 月 1 日,SoCC 2023 将在美国加州 Santa Cruz 举行。字节跳动基础架构-编排调度团队的研究成果被 SoCC 2023 接收,并受邀进行现场报告。


SoCC 会议全称 Annual ACM Symposium on Cloud Computing,是云计算领域顶级会议之一,同时也是 ACM 所有会议当中唯一一个同时被 SIGMOD 和 SIGOPS 赞助的顶会,代表了当前云计算领域在学术界、工业界和开源社区的前沿水平。


SoCC 会议伴随着云计算的兴起而成立,至今已经举办到第 14 届。该会议每年吸引全球顶级研究机构和知名大公司投稿,对系统创新性、完整性、和有效性等方面都要求很高。今年,会议论文的接收率只有 30%。


Gödel: Unified Large-Scale Resource Management and Scheduling at ByteDance


Gödel 是字节跳动基础架构-编排调度团队自主研发、面向大规模云原生基础设施管理的在离线统一调度系统。


字节跳动旗下业务线在过去几年的飞速发展中对计算资源的需求与日俱增,在数据中心的不断膨胀和对计算资源的差异化需求中,原生的 Kubernetes 调度器对于各种在离线业务负载统一托管、资源统一运营都带来了一系列挑战。


在此背景下,Gödel 调度系统应运而生。和 Kubernetes 原生调度器相比,Gödel 能同时在一套集群环境支持各类在离线、机器学习负载混合调度,同时具有高吞吐(up to 10X)、高弹性(sub-minute 资源流转)、高资源利用率(up to 60%)等特点,更好地满足了字节各业务间混合部署、资源并池等部署要求。在满足各形态业务负载 SLA 要求的同时,为计算集群资源统一运营提供了通用平台,进而提高了字节数据中心的资源利用率和任务灵活性,达到降本增效的目的。



Gödel 论文与现场报告将于 10 月底正式亮相 SoCC 2023。届时,字节跳动基础架构团队也将发布该论文的对应解读文章,欢迎持续关注。


目前,字节跳动在离线混部的另一核心组件——资源管控系统 Katalyst 已开源,点击了解社区【编程挑战】!



2023-12-07 11:421267
用户头像

发布了 21 篇内容, 共 10.2 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

前端安全问题及防护思路

FinFish

网络安全 安全 安全架构 移动安全 前端安全

关于DAO社区代币挖矿治理dapp系统开发

开发微hkkf5566

如何把 ThinkPHP 5 的项目迁移到阿里云函数计算来应对流量洪峰?

阿里巴巴云原生

阿里云 Serverless 云原生 函数计算

桌面端运行小程序的简易实操

FinFish

跨端开发 跨端运行 桌面应用 桌面应用开发

【电商实战02】如何借助工具快速生成代码?初学者容易踩的坑有哪些?

王中阳Go

golang 高效工作 学习方法 程序员 11月月更

设备接入物联网平台必知必会——设备接入类

阿里云AIoT

阿里云 数据 物联网 设备接入 协议解析

新双机热备软件排名看这里!

行云管家

高可用 双机热备

【Go电商实战04】为什么GoFrame不支持migrate功能?我还特意去问了框架作者

王中阳Go

golang 高效工作 学习方法 程序员 11月月更

从HelloWorld看Java与Kotlin

子不语Any

kotlin Andriod 11月月更

分布式事务详解、理论分析、及强一致性(2PC、3PC)剖析

C++后台开发

数据库 分布式 后端开发 Linux服务器开发 C++开发

【Go电商实战03】如何使用ORM链式操作?如何优雅的实现软删除?

王中阳Go

Go golang 高效工作 学习方法 11月月更

前端培训学习需要哪些知识?

小谷哥

合阔智云核心生产系统切换到服务网格 ASM 的落地实践

阿里巴巴云原生

阿里云 云原生 服务网格

Java Web(九)会话跟踪技术

浅辄

javaWeb session Cookie 11月月更

软件测试面试真题 | 测试一个你完全不熟悉的系统,你会怎么办?

测试人

软件测试 面试题 自动化测试 测试开发

低代码技术在研发团队的应用模式探讨

阿里巴巴终端技术

前端 终端 低代码 客户端

4K60帧!RayLink远程控制软件如何帮助设计师远程办公?

RayLink远程工具

远程控制软件 远程办公软件 远控软件 远程桌面连接 RayLink

手把手在桌面应用中运行小程序

Onegun

小程序 windows Mac 软件

零基础转行Web前端培训机构怎么选

小谷哥

大专参加大数据培训学习要具备哪几方面的知识

小谷哥

浅析云原生

鲸品堂

堡垒机小知识科普-行云管家

行云管家

网络安全 信息安全 堡垒机 等保2.0

使用 C++ 部署深度学习模型快速上手方案

MegEngineBot

c++ 深度学习 开源 MegEngine 模型部署

Kotlin变量声明和类型推断

子不语Any

kotlin Andriod 11月月更

先楫半导体HPM6700系列正式合入OpenHarmony社区主干

Geek_2d6073

泛型由入门到精通(2)

好程序员IT教育

Java 泛型

AI音乐创作,让每一个人都成为音乐家

HarmonyOS SDK

音频 HMS Core

沉浸式视听体验:全景声技术是如何实现的?

阿里云视频云

阿里云 音视频 音频

Java培训机构应该怎么去学习开发技术

小谷哥

秒云加入OpenCloudOS操作系统开源社区,携手打造更智能、更可控、更可信的云原生环境

MIAOYUN

开源社区 opencloudOS

TDSQL携手金蝶云·苍穹,发布“国产数据库联合解决方案”

腾讯云数据库

数据库 腾讯云 tdsql 金蝶 腾讯云数据库

Gödel:字节跳动在离线混部统一调度系统_云计算_字节跳动云原生_InfoQ精选文章