2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101929

评论

发布
暂无评论
发现更多内容

微服务拆分

zjluoyue

模块二作业

浮生若梦

「架构实战营」

2021 年的认知和感悟

卢卡多多

年终总结 28天写作 12月日更

NCF 如何正确创建Xncf并使用(二)

MartyZane

C# 签约计划第二季 NCF DDD框架 Xncf

Prometheus Exporter (二十四)Kong Metrics

耳东@Erdong

Prometheus kong 28天写作 Metric 12月日更

Linux-内核网络 1

绅鱼片

[Pulsar] Cumulative Ack原理

Zike Yang

Apache Pulsar 12月日更

渐渐

Nydia

架构训练营毕业设计

看,有只猪

证书、证书链、CA的那些事

RingCentral铃盛

NCF 初识(一)

MartyZane

C# .net 签约计划第二季 NCF DDD框架

拆分电商系统为微服务

波波

架构实战营

通过写测试用例的方式学习前端知识

小新

学习方法 前端 React 测试用例 dva

模块六作业

Geek_1d37ea

架构实战营

架构实战营模块六作业

孙志强

架构实战营

微服务架构的陷阱:从单体到分布式单体

看山

分布式 微服务架构 指令 事件 签约计划第二季

如何做一款属于自己的VS Code插件?

梁龙先森

签约计划第二季

NCF 实战功能(三)

MartyZane

实战 签约计划第二季 NCF DDD框架 Xncf

How to become a better Android developer

Changing Lin

12月日更

架构训练营 - 模块六作业

VegetableBird

模块六作业

心怀架构

火线安全:Log4j2 史诗级漏洞波及全球6万+开源软件

火线安全

安全漏洞 Apache Log4j2

2021的科技卦象·离·烈火烹油造车热

脑极体

面试官:元素排序Comparable和Comparator有什么区别?

王磊

java面试

架构实战营 模块六 作业

吴霏

「架构实战营」

设计电商秒杀系统

Sky

「架构实战营」

总结

Sky

架构训练营 模块六

dog_brother

「架构实战营」

模块六学习总结

Geek_1d37ea

架构实战营

使用 GenStage 构建一套稳定的持续数据处理系统

RingCentral铃盛

架构训练营毕业总结

看,有只猪

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章