写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101915

评论

发布
暂无评论
发现更多内容

在一个操蛋(执行力极差)的团队工作是一种怎样的体验?

冰河

团队管理 程序人生 执行力 问题总结 团队成长

四、查询

Kylin

读书笔记 数据库开发 分布式数据库mongodb 读书总结 3月日更

融云CEO韩迎:飞信十年珍贵历练,做To B别有取巧的心思

融云 RongCloud

IM RTC 飞信

mysql常用命令

Sakura

震撼来袭!2021版全新版Java面试笔记现世,简直把所有Java知识面试题写出来了

Java 架构 面试

进程和nginx

一个大红包

28天写作 3月日更

LeetCode题解:309. 最佳买卖股票时机含冷冻期,动态规划,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

Wireshark数据包分析学习笔记Day2

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

方法论分享之:刻意练习,微小改进

boshi

方法论 经验分享 七日更

女神节|深情告白季,程序员和他的浪漫

InfoQ写作社区官方

热门活动

2021最新分享面试跳槽宝典:互联网大厂Java高级工程师核心面试498题(附解析)

比伯

Java 编程 程序员 架构 面试

单点登录(SSO)

一个大红包

SSO 28天写作 单点登录 3月日更

容器 & 服务:K8s 与 Docker 应用集群 (二)

程序员架构进阶

Docker 持续集成 kubernete 服务化 3月日更

VMware Workstation

梅花鹿鹿

虚拟机

程序员成长第二十篇:刚晋升管理者,有哪些方面要注意?

石云升

程序员 28天写作 职场经验 管理经验 3月日更

OSPF路由协议基本知识点大全

《经济学人》2021年3月6日刊精彩文章导读及资源下载

wbliu85

用户画像实践

Jackchang234987

【回溯算法】组合总和升级版 ...

宫水三叶的刷题日记

面试 LeetCode 数据结构和算法

政府区块链招投标市场活跃 “区块链+警务”等多元化领域成​方向

CECBC

表达的时代

ES_her0

28天写作 3月日更

(28DW-S8-Day14) 数据孤岛

mtfelix

28天写作 数据孤岛

JAVA学习心得

张鹤羽

28天写作 3月日更

搜狐三面:说说你是怎么解决MySQL死锁问题的!

Java架构师迁哥

写作对我来说是什么?

lenka

产品经理 写作 3月日更

麻木得那么快应不应该——韦伯-费希纳定律

Justin

心理学 28天写作 游戏设计

进程调度算法

鲁米

算法

什么是开放艺术?探讨融合区块链技术的新艺术范式

CECBC

翻译:《实用的Python编程》03_06_Design_discussion

codists

Python

2021最新腾讯面经分享:Java面试刷题PDF(17个专题 5000字解析)

比伯

Java 编程 程序员 架构 面试

需要对未知保持敬畏「Day 14」

道伟

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章