限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101756

评论

发布
暂无评论
发现更多内容

架构实战训练营-模块9-作业

温安适

「架构实战营」

要重复阅读的一个原因:思维模型驱动学习的过程

panda

思维模型 阅读

一人走路不孤独,小度化身百度地图导航NPC,伴你回家路

百度大脑

Java常见数据结构详解

编程江湖

在线标准程序员计算器

入门小站

工具

一个cpp协程库的前世今生(二十五)channel

SkyFire

c++ cocpp

《也许你该找个人聊聊》读书笔记 - 直面的勇气

懒时小窝

读书笔记 读书感悟

GitLab + Jenkins + ACK 自动化部署方案

百瓶技术

运维 jenkins 自动化部署 #GitLab ACK

JavaScript 数组常见操作(一)

编程三昧

JavaScript 前端开发 数组操作 2月月更

M3U8 视频封装格式的深度解析 | 社区征文

liuzhen007

音视频 新春征文 2月月更

如何写出格式清晰的代码

蜜糖的代码注释

Java 2月月更

URL中的空格、加号究竟应该使用何种方式编码

Gopher指北

HTTP url Go 语言

了解一下DDD领域驱动设计

蜜糖的代码注释

Java DDD 领域模型 2月月更

让所有工具变成你的锤子 — 邂逅《Every Tool's a Hammer》

蔡超

方法论 学习笔记 软件架构

【初探云原生】服务注册中心对比总结

路上的小崔哥

微服务 云原生 注册中心

Pulsar 在云原生消息引擎领域为何如此流行?| 社区征文

老周聊架构

云原生 Apache Pulsar 新春征文 2月月更

JVM进阶(十):年老代收集器

No Silver Bullet

CMS JVM 2月月更 年老代收集器

JS事件详解和js事件委托

编程江湖

JavaScript 数组常见操作 (二)

编程三昧

JavaScript 前端 2月月更

架构实战营 毕业设计项目

红莲疾风

「架构实战营」

创业方法论(10/100)

hackstoic

创业 商业分析

Web Components系列(一) —— 概述

编程三昧

前端 组件化 2月月更

JVM进阶(十一):JAVA G1收集器

No Silver Bullet

G1 JVM 垃圾收集器 2月月更

Spring Cloud Alibaba Nacos 服务注册与发现功能实现!

王磊

SpringCloud Alibaba

AI,机器人和元宇宙(9/100)

hackstoic

元宇宙

计算机视觉算法探究:OpenCV CLAHE算法详解| 社区征文

老猿Python

AI 算法 计算机视觉 新春征文 CLAHE

JVM进阶(八):Stop The World

No Silver Bullet

JVM STW 2月月更

DeepMind公司最新ai技术参加Codeforces击败大部分选手

你?

Netflix是如何做决策的? | 6. 实验是数据科学的主要关注点

俞凡

数据分析 netflix 大厂实践 2月月更

一个老程序员的计算机视觉蹒跚学习之路| 社区征文

老猿Python

AI OpenCV 计算机视觉 图像处理 新春征文

视野 | KeyDB:为 Web 应用而生的高性能 Redis 分支

RadonDB

数据库 redis 后端 RadonDB

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章