写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101861

评论

发布
暂无评论
发现更多内容

美团前端二面高频面试题合集

loveX001

JavaScript 前端

腾讯前端二面面试题(附答案)

beifeng1996

JavaScript 前端

手部骨骼跟踪能力,打造控制虚拟世界的手势密码

HarmonyOS SDK

Java常见名词解释

源字节1号

软件开发 后端开发

Elasticsearch聚合学习之一:基本操作

程序员欣宸

Elastic Search 9月月更

还能把浏览器当作 Web 服务器?骚操作,学废了~

掘金安东尼

前端 9月月更

Qt实现文本编辑器(二)

中国好公民st

c++ qt 9月月更

Python基础(三) | Python的组合数据类型

timerring

Python. 9月月更

基于阿里云GPU云服务器的AIACC助力UC搜索业务性能提效380%,每年节省数千万成本

阿里云弹性计算

神龙 加速引擎 TensorRT QTC

nft平台搭建:nft商城开发nft平台开发

开源直播系统源码

NFT 数字藏品 数字藏品开发 数字藏品系统

文盘Rust -- 如何把配置文件打包到二进制文件里

京东科技开发者

rust 后端 文件 配置文件 spring-boot

架构实战营模块七作业

zhihai.tu

数据治理(十五):Ranger 管理 Hive 安全

Lansonli

数据治理 9月月更

「趣学前端」“寓教于乐”的Node.js学习记录

叶一一

node.js 前端 9月月更

「趣学前端」图片操作之“多媒体顶流”不羁的一生

叶一一

node.js 前端 9月月更

近期对前端性能优化的总结

南城FE

性能优化 前端 性能 性能提升

『数据结构与算法』之时间复杂度与空间复杂度,看这一篇就够啦

喜羊羊

9月月更

关于AWS Aurora

Joseph295

MySQL架构与历史

阿柠xn

MySQL innodb 事务 sql 9月月更

打通JAVA与内核!一个ReentrantLock锁的实现原理

Java快了!

java;

专业低代码如何选型?看这12项关键能力

牛刀专业低代码

低代码 低代码开发 低代码平台

社招前端必会面试题

bb_xiaxia1998

JavaScript 前端

频面试题合集

helloworld1024fd

JavaScript 前端

OpenHarmony源码的编译构建

坚果

OpenHarmony 9月月更

库调多了,都忘了最基础的概念《Mysql相关知识》

知识浅谈

MySQL 9月月更

社招前端二面面试题

夏天的味道123

JavaScript 前端

预约报名!阿里云EDA上云解决方案直播开启

阿里云弹性计算

EDA

分布式事务解决思想以及实现方案

想要飞的猪

3PC 2PC注意事项 TCC 本地消息表

SpringCloud Feign 远程调用(史上最详细讲解)

SpringCloud Fegin 9月月更

关于 DynamoDB

Joseph295

详解KubeEdge边缘网络项目EdgeMesh

华为云开发者联盟

云计算 云原生 后端 边缘计算 企业号九月金秋榜

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章