揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰

【AICon】探索八个行业创新案例，教你在教育、金融、医疗、法律等领域实践大模型技术！ >>> 了解详情 



 写点什么

在ArchSummit深圳2018大会上，文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲，主要内容如下。

演讲简介：

微信作为一款国民 App，每天承载着数百亿条的消息收发，而支撑着微信功能的后台服务也多达数万个，如何确保这些在线服务的稳定可用和可控，是资源管理系统面临的一大挑战。

与此同时，随着 AI 技术的方兴未艾，围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多，对内部计算、存储、网络等资源提出了大量的需求，如何充分利用好服务器资源，高效调度各类计算作业，合理编排不同维度的资源组合也是资源调度系统的一个重要目标。

本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战，分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

背景
微信后台资源管理发展历程
在线服务和离线作业的资源抢夺战
微信资源调度系统 Yard
系统架构
资源隔离的“舍”与“得”
调度的 AI
网红 Docker 在 Yard 中的应用
踩过的“坑”与“坑”外的思考
成果展示 &未来展望

讲师介绍：

文杰

腾讯微信技术架构部专家工程师

2005 年入职腾讯，曾参与主导搜索引擎，分布式存储，分布式计算等多个项目的整体架构；2013 年加入微信，现任技术架构部下大数据平台团队负责人，主导微信两项基础平台：微信资源调度 Yard 平台和微信流量实验 X 平台的研发；在分布式设计，高可用架构，任务调度，搜索引擎，高性能服务，大数据计算等领域有浓厚兴趣和实践经验。