2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101884

评论

发布
暂无评论
发现更多内容

架构设计小结

Geek_e8bfe4

架构实战营模块 9 作业

Naoki

架构实战营

Java基础之网络编程(一)

自然

网络 8月月更

【Go事】一眼看穿 Go 的集合和切片

梦想橡皮擦

Python 爬虫 8月月更

kubernetes镜像构建和扫描

CTO技术共享

C++多态之析构和纯虚析构分析与示例(三)

CtrlX

c++ 后端 面向对象思想 8月月更

架构师的十八般武艺:高可用

agnostic

容灾

秒杀系统设计demo

Geek_e8bfe4

IDEA开发Spark应用实战(Scala)

程序员欣宸

8月月更

Kubernetes 真的在蚕食云吗

CTO技术共享

《博弈论》— 人生何处不博弈

蔡农曰

读书笔记 博弈论

【Java】:二维数组的定义、初始化、长度以及循环遍历等...

翼同学

Java 学习 编程语言 分享 8月月更

Struts2应用详解

No Silver Bullet

应用 Struts2 8月月更

数据结构——树(树的基本概念)

工程师日月

8月月更

Java基础之网络编程(二)

自然

网络 8月月更

[CSS入门到进阶] 用transform后z-index失效了?总结transform的注意事项!

HullQin

CSS JavaScript html 前端 8月月更

架构实战营毕业总结

Naoki

架构实战营

为什么说:被观察者是 push 数据,迭代者是 pull 数据?

掘金安东尼

前端 函数式编程 8月月更

网信办将全面规范打赏连麦等功能,必须监督好平台和MCN机构

石头IT视角

用户权限-Linux系统特殊权限

Albert Edison

Linux centos 运维 用户权限 8月月更

Prototype以及jQuery和CDN -内容分发网络在使用JavaScript实战运用

恒山其若陋兮

8月月更

Kubernetes中API安全加固

CTO技术共享

SpringBoot(二、基础知识)

SpringBoot 2 8月月更

leetcode 560. Subarray Sum Equals K 和为 K 的子数组(中等)

okokabcd

LeetCode 算法与数据结构

RocketMQ高可用设计之消息重试机制

急需上岸的小谢

8月月更

程序员最容易读错的单词,听到status我炸了

艾小仙

Java 前端

解密 Flutter 的 const 关键字

岛上码农

flutter ios 前端 安卓开发 8月月更

来聊聊 OpenJDK 和 JVM 虚拟机

HoneyMoose

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章