写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101745

评论

发布
暂无评论
发现更多内容

数据库物理计划执行指南

KaiwuDB

数据库 KaiwuDB 物理计划执行

软件测试学习笔记丨Python常用第三方库 yaml

测试人

Python 软件测试 yaml 测试开发

智源联合多所高校推出首个多任务长视频评测基准MLVU

智源研究院

什么是浅拷贝和深拷贝,如何用 js 代码实现?

不在线第一只蜗牛

JavaScript 拷贝

北京人工智能数据运营平台发布,并开源超大规模高质量数据集

智源研究院

唯品会API:解锁商品详情的力量

Noah

火山引擎助力自动驾驶:云原生合规专区回灌集群解决方案

极客天地

Axios 和 Fetch: 深入比较HTTP请求工具

Liam

JavaScript 前端 HTTP axios Fetch

“技术故障”背刺巴菲特,金融大模型到底靠不靠谱?

Openlab_cosmoplat

人工智能 金融

Shell 判断语句:决策的艺术

左诗右码

Shell 循环语句:重复任务的自动化利器

左诗右码

接口测试:Mock 的价值与意义

测吧(北京)科技有限公司

测试

打造安全高效的数字货币交易平台:交易所开发全攻略

区块链软件开发推广运营

交易所开发 dapp开发 区块链开发 链游开发 NFT开发

太空策略单机游戏推荐:群星Stellaris 游戏支持win和mac下载

你的猪会飞吗

Mac游戏下载 群星游戏下载

2024北京智源大会开幕,智源推出大模型全家桶及全栈开源技术基座新版图,大模型先锋集结共探AGI之路

智源研究院

智领云端,逐梦低空:中国电信成立低空经济产业联盟

脑极体

AI

CCF 数据库专委会铂金合作伙伴

TDengine

数据库 涛思数据 tdengine

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章