AICon 深圳站聚焦 Agent 技术、应用与生态,大咖分享实战干货 了解详情
写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101794

评论

发布
暂无评论
发现更多内容

年底换机的实力派选择:华为畅享70性能出色,体验超便捷

极客天地

微店商品详情数据接口(micro.item_get)|微店API接口

tbapi

微店商品详情数据接口 微店商品API接口 微店API接口

为什么说代码注释是程序员必备的技能?

小魏写代码

探索 Coinbase 二层链 Base 的潜力与风险

Footprint Analytics

以太坊 Base Coinbase

关于C#反射概念,附带案例!

不在线第一只蜗牛

C# 后端 项目开发

语音数据集:AI语音技术的灵魂

数据堂

引迈信息-JNPF平台怎么样?值得入手吗?

互联网工科生

低代码 开发平台 JNPF

改进了编排控制并增强了推理的可视性,Agents for Amazon Bedrock 现已上市

亚马逊云科技 (Amazon Web Services)

API re:Invent Amazon Bedrock

NFT卡牌DAPP质押系统开发丨详情开发

l8l259l3365

E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾

腾讯云大数据

ES

语音数据集在人工智能中的应用与挑战

数据堂

语音数据集在智能语音助手中的应用与挑战

数据堂

基于 Flink 构建实时数据湖的实践

字节跳动云原生计算

大数据 数据湖 云原生 flink 实战

Solidity之旅(十)OOP-抽象合约

BSN研习社

教你使用Prometheus-Operator进行K8s集群监控

不在线第一只蜗牛

k8s K8s 多集群管理 多集群 集群监控

有意思!40小时工作制来了,996再见

伤感汤姆布利柏

软件测试/人工智能丨为什么人工智能=大数据+机器学习

测试人

人工智能 软件测试

网心科技出席2023(第二十一届)中国企业领袖年会,共话长期主义

网心科技

网心科技

特权账号管理误区

尚思卓越

网络安全 运维安全 特权账号管理

测试用例设计方法六脉神剑——第四剑:石破天惊,功能图法攻阵| 京东物流技术团队

京东科技开发者

如何通过京东工业商品API接口获取商品详情

Noah

JDBC ResulSet资源释放和Statement并发调用源码分析

FunTester

Amazon CodeWhisperer:AI 编程助手

亚马逊云科技 (Amazon Web Services)

人工智能 Amazon Lambda 云上探索实验室 Amazon CodeWhisperer Amazon Cloud9

小红书基于零信任 SASE 办公安全解决方案,斩获 “IDC 中国 20 大杰出安全项目”

小红书技术REDtech

大数据 网络安全 安全

纯粹+享受,独立开发者成功踏上HarmonyOS“新大陆”

最新动态

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章