单集群10万节点 走进腾讯云分布式调度系统VStation

2018 年 4 月 08 日

云计算并非无中生有的概念,它将普通的单台 PC 计算能力通过分布式调度软件连接起来。其最核心的问题是如何把一百台、一千台、一万台机器高效地组织起来,灵活进行任务调度和管理,从而像使用单台机器一样方便地使用多台机器。目前,业界已存在多种分布式调度实现方案,比较知名的有 Hadoop YARN、Mesos、Google Borg 等。

区别于以上调度系统,腾讯云的 VStation 从诞生之初,便肩负着大规模调度、海量并发和支持异构计算的历史使命,历经五年的打磨和历练,VStation 通过消息压缩、镜像缓存、快照回滚等系列优化实践,实现了生产吞吐率从数百台 / 分钟到数万台 / 分钟、平均创建时间由 300 秒下降到 30 秒以下的惊人蜕变。本文将从分布式调度系统的演进史说起,深入浅出腾讯云 VStation 的缘起、架构和调度模式。

1. 分布式系统中调度的分类与含义

在正式介绍分布式调度之前,我们首先来明确调度的含义。事实上,在分布式系统中,调度的概念比较广泛。主要包括以下 2 种:

  • 任务之间的调度,负责管理任务间的关系,典型系统 / 组件包括 Hadoop YARN 中的 Application Master 和 Airflow。
  • 任务资源调度,负责为任务分配资源,典型系统包括 Google Borg、Mesos、Kubernetes 等。

原文链接:【 https://www.infoq.cn/article/tecent-cloud-distributed-system-vstation 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2018 年 4 月 08 日 18:08 1980
用户头像

发布了 24 篇内容,共 70 次阅读,收获喜欢 0 次。

关注

评论

发布
暂无评论
发现更多内容

Java SSM 框架常见面试题

老大哥

Java、

知识点梳理:聊聊iOS SDK数据采集那点事儿

易观大数据

新三板专家-程晓明:四板将是推动区块链技术与资本市场结合试验田

CECBC区块链专委会

区块链技术 推进落地应用

区块链+国防安全,科技是核心战斗力

CECBC区块链专委会

新技术 国防安全 科技信息

一条更新sql在mysql中是怎么执行的

简爱W

Spring Boot+Redis+拦截器+自定义Annotation实现接口自动幂等

我是苞谷

我天!xx.equals(null) 是什么骚操作??

导导

实践录丨如何在鲲鹏服务器OpenEuler操作系统中快速部署OpenGauss数据库

华为云开发者社区

数据库 鲲鹏920 操作系统 服务器 opengauss

信创舆情一线--50多家科技公司源代码泄露

统小信uos

JVM系列之:通过一个例子分析JIT的汇编代码

程序那些事

Java JVM JIT 汇编

判了!中科大博士写游戏外挂赚了12万获刑,被抓才知道帮团队赚了300万……

程序员生活志

游戏开发 游戏 游戏外挂 新闻

给技术同学的建议:人人都该懂的埋点知识

易观大数据

埋点 智能运营

刚坐下,一个面试官居然问了我 30个Spring Boot问题!

只喝纯牛奶

面经手册 · 第1篇《认知自己的技术栈盲区》

小傅哥

Java 小傅哥 面试官 技术栈

架构师 0 期第八周总结

何伟敏

求组队,PK华为HMS全球应用创新大赛!

InfoQ_e92167c73263

android

编程日课•理解学院

顿晓

学习方法 编程日课 理解学院

架构师 0 期第八周命题作业

何伟敏

京东T8连夜肝出的《JVM性能优化知识点》吊打所有提问的面试官

互联网架构师小马

Java 性能优化 JVM 虚拟机 垃圾回收

MySQL的索引基础知识

guoguo 👻

功能扎实的ERP模版已上架应用库(支持免费安装使用)

明道云

架构师训练营第九周

Melo

策略模式解析

南方有乔木兮

LeetCode题解:189. 旋转数组,pop+unshift一行,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

Twitter高性能分布式日志系统架构解析

俊俊哥

pulsar bookKeeper 分布式文件存储

百万并发「零拷贝」技术系列之经典案例Netty

码农神说

Java Netty 零拷贝

一次线上JVM Young GC调优,搞懂了这么多东西!

南方有乔木兮

Java中的模板设计模式,太实用了!

BUZHIDAO

Java、

week8--课后作业

Geek_165f3d

智能的财务管理系统,来自某科技公司CEO亲手搭建

明道云

LeetCode002-两数相加-medium

书旅

算法 数据结构与算法

众安黑客马拉松大赛总决赛-InfoQ小编探班

众安黑客马拉松大赛总决赛-InfoQ小编探班

单集群10万节点 走进腾讯云分布式调度系统VStation-InfoQ