2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101892

评论

发布
暂无评论
发现更多内容

Nocalhost - 让云原生时代的开发更高效

沃趣科技

云原生 Nocalhost 应用开发

java培训JVM内存模型和GC机制的解析

@零度

Java JVM GC

一文论述元宇宙、NFT及不可回避的Web3 时代

CECBC

读《Software Engineering at Google》(10)

术子米德

架构师成长笔记

spring-cloud-kubernetes的服务发现和轮询实战(含熔断)

程序员欣宸

java 4月月更

高效压缩位图在推荐系统中的应用

vivo互联网技术

redis 推荐 存储

一文读懂在OpenHarmony轻量设备开发应用

OpenHarmony开发者

OpenHarmony OpenHarmony应用开发 轻量设备

不同阶段的人,如何学习Rust?加入非凸,一起学习!

非凸科技

rust 招聘 编程语言‘

MySQL 无法满足查询性能?北明天时选择 TDengine 实现热网监控和能源分析

TDengine

数据库 tdengine 开源 时序数据库

读《Software Engineering at Google》(08)

术子米德

架构师成长笔记

打破虚拟边界的视频交互新方式,AR隔空书写的应用理念和探索实践

阿里云CloudImagine

音视频 AR 直播 视频云

Web3.0 时代,我们的生活将产生什么变化?

CECBC

读《Software Engineering at Google》(09)

术子米德

架构师成长笔记

Go 入门很简单:Writer和Reader接口

宇宙之一粟

接口 Go 语言 4月月更

upnp.exe进程

Sher10ck

日积月累

Linux驱动开发-外部中断的注册使用(按键为例)

DS小龙哥

4月月更

基于云效Codeup一键恢复删库保护数据资源,程序员删库跑路不复存在

阿里云云效

云计算 阿里云 程序员 代码安全 删库保护

在线CSV转Plaintext(txt)工具

入门小站

工具

关于数字货币的几点问题及回应

CECBC

老旧项目二次开发指南

阿毛

重构 项目架构 二次开发

[Day19]-[动态规划]分割等和子集

方勇(gopher)

LeetCode 动态规划 数据结构和算法

什么是知识库管理系统?如何搭建企业知识库系统?

小炮

企业知识管理 企业知识管理工具 知识管理系统

web前端培训javaScript的内存管理机制分享

@零度

JavaScript 前端开发

利用 Dio 完成数据删除操作

岛上码农

ios 跨平台 移动端开发 flutter开发 安卓开发

另一视角看元宇宙:元宇宙文化正悄然改变世界

CECBC

区块链如何助推著原创保护

CECBC

API对接之模板方法

Rubble

4月日更 4月月更

Camtasia Studio2022汉化版

茶色酒

Camtasia2022

Docker 实战教程之从入门到提高 (七)

汪子熙

Docker 容器 docker image 容器镜像 4月月更

TASKCTL C/S客户端两种不同的登陆模式

敏捷调度TASKCTL

分布式 ETL 批量操作 自动化运维 调度任务

大数据培训Hive面试核心知识点分享

@零度

大数据 hive

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章