写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101734

评论

发布
暂无评论
发现更多内容

青藤入选信通院“数据安全推进计划”成员单位

青藤云安全

数据安全 信通院

linux之awk使用技巧

入门小站

代码之外:校招该如何准备开发项目

宇宙之一粟

校招 项目开发 5月月更

设计者模式之装饰者模式

乌龟哥哥

5月月更

【LeetCode】数组中的第K个最大元素Java题解

Albert

LeetCode 5月月更

windows下C语言使用curl库访问HTTP下载文件

DS小龙哥

5月月更

druid 源码阅读 10—— 过一下流程图中的getConnectionDirect

张大彪

明天,龙蜥2位专家直播,第22届计算机系统会议等活动来了!

OpenAnolis小助手

Linux 开源 直播 内核 龙蜥技术

零基础学Java第四节(字符串相关类)

编程攻略

java编程

【中国信通院 x ShardingSphere 金融用户社区】成立,多家知名金融机构正式入驻

SphereEx

Apache 数据库 开源 ShardingSphere SphereEx

Authing 被世界经济论坛评选为 2022 技术先锋企业

Authing

身份云 科技 Idaas 科技企业

生命科学领域下的医药研发通过什么技术?冷冻电镜?分子模拟?IND?

GPU算力

SysAK 应用抖动诊断篇—— eBPF又立功了! | 龙蜥技术

OpenAnolis小助手

Linux 工具 内核 ebpf 龙蜥技术

大模型走向产业的一小步,AI走向普惠的一大步

脑极体

Tech Talk 活动回顾|化“被动”为“主动”,如何构建安全合规的智能产品

亚马逊云科技 (Amazon Web Services)

产品 安全 解决方案

极速调取客户保单,YRCloudFile 助力保险存储架构升级

焱融科技

AI 存储 NAS 数字金融

数据库连接池 -Druid 源码学习(十)

wjchenge

Druid 数据库连接池

大家谈的视频体验指标,都有哪些?如何测定?

声网

视频 Qoe Dev for Dev

使用 Provider 实现 Flutter 多组件的状态共享

岛上码农

flutter 安卓开发 ios 开发 跨平台应用 5月月更

在线HTML转TSV工具

入门小站

工具

数据结构之时间复杂度和空间复杂度

芒果酱

数据结构 算法 5月月更

Kitex 源码解析活动发布!

baiyutang

Go 字节跳动 微服务 5月月更

Authing 身份云招聘:增长黑客

Authing

招聘 科技

JSON在线对比差异工具

入门小站

工具

Vite 与 Vue Cli 对比 - 尤雨溪: Vite 会取代 vue-cli 吗?

蒋川

Vue vite vue cli

【活动报名】TiDB 社区天津站 Meetup 要来啦!

TiDB 社区干货传送门

Druid 连接池源码阅读 10

石小天

Redis「9」主从、高可用性方案

Samson

redis 学习笔记 5月月更

半年面试数百场,我总结出了这份10w字Java面试复盘笔记

Java全栈架构师

Java spring 程序员 架构 面试

css基本概念学习篇【四】

恒山其若陋兮

5月月更

druid 源码阅读(十一)maxWait 参数

爱晒太阳的大白

5月月更

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章