限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

Facebook 大数据模块快速部署和实时更新

  • 2019-08-29
  • 本文字数:710 字

    阅读完需:约 2 分钟

Facebook 大数据模块快速部署和实时更新

作为全球最大的社交网络公司,Facebook 的基础架构在很多方面面临性能和规模的挑战。为了增加用户数量和提高用户使用体验,我们越来越多的使用统计学习和多角度预测,为用户快速提供最新最感兴趣的信息。这需要系统做到软件快速部署和信息实时更新,其中软件部署互联网服务运维的主要工作之一。保证软件部署速度和数据事实更新会直接关系到系统维护成本和运营收入,特别是保证大规模分布式系统里面大模块内存数据的实时性是极具挑战性的工作。Facebook 高级性能架构工程师冯翼即将在 QCon 全球软件开发大会(上海站)2019分享《Facebook 大数据模块快速部署和实时更新


我们首先介绍 Facebook 服务的基本架构和规模,在此基础上我们分析软件部署速度和数据实时更新对于运维成本和运营收入的影响。我们通过两个具体用例来说明如何巧妙运用传统点对点加速部署并保证更新。这两个实例分别展示了:


  1. 如何大幅度降低软件部署所需要需要的时间和成本;

  2. 提高分布式系统中灾难恢复的速度。


最后和听众分享我们在应用中遇到的问题和解决方法。


这个演讲会由广及深,涵盖大规模互联网服务的基础架构,营收,运维,和技术实现四个层面,面向听众涵盖经理人,产品经理,运维和开发工程师。


嘉宾介绍


冯翼,纽约城市大学研究中心计算机博士, 现任 Facebook 性能架构工程师,主要负责 instagram 和信息安全系统的架构和性能优化。此前在微软和领英任职。工作内容涵盖了性能诊断和优化的大部分领域,包括 CPU,内存,网络 IO,存储空间,平台包括 Windows Server 和 RHEL,语言和 runtime 包括 C#,Java,C++;规模从单机单进程到 20 万台前端服务器集群。工作之余爱美食,做运动车改装,跑赛道。


更多智能运维的相关分享请访问 QCon 上海 2019 官网。


2019-08-29 12:151799

评论

发布
暂无评论
  • 大型 Android 应用内存监控如何进行?(上)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 为什么要做内存监控 因内存使用不当出现的问题 如何监控内存不足导致的崩溃 如何查询LMK次数

    2022-01-07

  • 全链路跟踪系统设计与实现丨 GMTC

    为了支撑日益增长的庞大业务量,业界大量使用微服务架构。如何快速进行故障定位?如何准确进行容量评估?如何动态展示服务的链路?如何进行系统性能优化?这是分布式系统给后台开发同学带来的四大挑战。

  • JVM 架构解析

    JVM架构解析

    2022-07-16

  • SLICK: Facebook 基于 SLO 的可靠性保障实践

    定义服务的SLI和SLO,通过全局系统呈现、处理所有服务的SLI/SLO,从而帮助SRE实践在系统中的落地。本文介绍了Facebook(Meta)在这方面的实践。

    2021-12-29

  • 开篇词 | 可观测性,让开发和维护系统的你每晚都能睡个好觉!

    由于各大厂商对云原生的奔赴,传统的技术架构面临着巨大的冲击,监控也被架到了一个不得不革自己命的位置。在这样的背景之下,可观测性(Observability)脱颖而出。

    2022-09-14

  • 你们需要的 PPT 和视频 @数据存储与微服务架构实践沙龙

    本文转载自公众号携程技术(ID:ctriptech)。

  • 如何搭建直播平台业务服务器?——Java(上)

    讲师介绍: 李阳明,猿辅导服务端研发工程师。在猿辅导目前主要负责直播课堂服务端的研发工作。擅长 Java、数据库、消息队列、服务划分、领域建模等,有 7 年的后端开发经验。 问题背景: 随着音视频直播技术的飞速发展,各种新兴或传统业务与音视频直播能力的结合越来越被广泛应用。现如今,直播平台的业务,不仅面临着高性能高并发的挑战,而且还有高可用性的要求。那么,应该如何兼顾系统的稳定性与业务功能的快速迭代呢?这就需要你掌握一定的相关知识。 内容看点: 直播平台业务服务器的范畴 直播业务所面临的技术挑战 战略上如何应对直播业务的技术挑战?

    2021-08-03

  • 以史鉴今:监控是如何一步步发展而来的?

    可观测性是怎样发展而来的?让我们从监控的源头讲起。

    2022-09-14

  • ShowMeBug 黑科技丨一招快速实现架构绘图之鼠标同步

    在线的思维导图如何实现鼠标同步?

    2021-11-10

  • Facebook 起诉水军公司:删不过来,我还告不过来吗?

    深受水军困扰的 Facebook,近日起诉了专业刷虚假评论和点赞的公司。但这仅仅是近一年多时间以来,Facebook 起诉的一小部分。

    2020-06-19

  • 数据湖基本架构

    数据湖可以认为是新一代的大数据基础设施。为了更好的理解数据湖的基本架构,我们先来看看大数据基础设施架构的演进过程。

    2022-06-08

  • linux 之 lscpu 命令

    lscpu 命令显示有关 CPU 架构的信息

    2021-09-20

  • 架构师训练营第 1 期 - 第四周总结

    本周的重点学习内容是系统的架构设计,涉及的重点包括了物理层面的拓扑上的架构,也包含了软件层面为了应对目前互联网系统的特点而对应用进行拆分的软件设计架构.

    2020-10-18

  • 软件架构那些事 | InfoQ 大咖说

    本期《大咖说》,我们将聊聊软件架构的前世今生,探讨当下软件架构的发展现状与挑战,与广大程序员谈谈架构师的职业发展。

  • 大型 Android 应用内存监控如何进行?(下)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 如何监控后台被强杀的问题 如何监控垃圾回收对流畅性的影响

    2022-01-07

  • 微信的业务架构 & 学生管理系统架构设计

    #微信业务架构图 #学生管理系统架构设计

    2022-01-27

  • 极客时间架构 1 期:第 8 周 性能优化(二) - 命题作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020-11-15

  • 模块三 - 架构详细文档

    本文描述了学生管理系统的详细架构,用于该系统的开发、部署和运维

    2021-11-17

  • 冲云破雾——10 分钟带你了解六大云上服务架构

    讲师介绍: 吕蕴偲,SRE 工程师,就职于国内某云服务商,负责 DevOps 及云上解决方案架构设计,多年云行业相关领域经验。熟悉 AWS 亚马逊云、阿里云等公有云,同时拥有 AWS 解决方案架构师认证及阿里云解决方案架构师认证,对多云云上架构设计部署有相关经验。 问题背景: 随着云上服务的开通,我们的需求从地端转换到了云端,以前 IDC 的那套模式已经不完全适用了。线上的架构搭建与线下的搭建有着本质的区别,线下的部署没有所谓的服务模型区分,可以笼统地归结到“基础设施”服务上来。而云上,有着较为明显的界限划分,即分为 IaaS 基础设施即服务、PaaS 平台即服务和 SaaS 软件即服务,近两年又出现了新兴 FaaS 函数即服务的服务模式。 面对这些复杂且多样的云服务,我们该如何根据不同需求搭建架构设计?本节课,我们将从简单到复杂、从单体到分布式说一说常见的几种架构设计和选择。 内容看点: 几种常见的架构设计模式 云端服务架构选择

    2021-12-24

  • 实现一个全链路监控平台很难吗?Pinpoint、SkyWalking、Zipkin,哪个实现比较好?

    随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。

    2021-03-08

发现更多内容

创业增长黑客 – 如何低成本获取种子用户|冷启动实战案例 – 挖掘用户需求背后的真实动机

蒋川

用户增长 需求落地 产品经历 业务增长 数据思维

带你掌握JS防抖与节流

华为云开发者联盟

面试 定时器 节流 JS防抖 触发

Regan Yue带你一起学习微软AZ-900认证的有关知识「 第V章」

Regan Yue

微软 8月日更 AZ-900

kubernetes增加Node详细步骤

消失的子弹

Kubernetes 云原生 k8s kubeadm

接口测试参数化(环境变量使用)----apipost

Proud lion

大前端 后端 Postman 开发工具 接口文档

情窦初开,原来喜欢这么可爱的

4ye

Python 后端 8月日更 词云

从头配置阿里云服务器

阿Q说代码

SSL证书 8月日更 阿里云服务器 域名备案

书单 | 8月新书榜单TOP10,快来看看都有谁吧~~

博文视点Broadview

拆分电商系统为微服务

面向对象的猫

Python实现批量压缩文件/文件夹——zipfile

Python研究者

8月日更

详解可观测性监控系统中的“金三角”

尔达Erda

开源 微服务 运维 云原生 APM

AI应用说-生产制造专场开课啦!

百度大脑

人工智能

快速生成好看实用的接口文档

与风逐梦

后端 接口文档

反向压力

程序员鱼皮

架构 系统设计 大前端 后端 实时计算

用户体验再升级!Erda 1.2 版本正式发布

尔达Erda

云计算 开源 开发者 云原生 Go 语言

挑战倒计时!“互联网+”大赛华为命题加速高阶能力提升

华为云开发者联盟

华为云 鲲鹏 大赛 “互联网+” 昇腾AI

Spark 源码阅读 01:环境搭建

程序员赤小豆

spark 技术 Spark 源码

苏宁精准测试方案探索和实践

薛飞

精准测试

Spark 源码阅读 02:从 Spark-Submit 到 Driver 启动

程序员赤小豆

spark 技术 Spark 源码

Rust从0到1-高级特性-类型进阶

rust 高级特性 类型 Types

云原生时代的 APM

尔达Erda

微服务 运维 云原生 APM 应用性能管理

CC通用成绩查询小程序(云开发无服务器解决方案)

CC同学

拆分电商系统为微服务

木云先森

架构实战营

架构训练营模块六作业

喻高咏        

架构实战营

云小课|ModelArts Pro 视觉套件 零代码构建视觉AI应用

华为云开发者联盟

AI ModelArts Pro EI智能体 视觉套件

遇到联邦计算数据碰撞难题怎么办?不妨试一试PSI

华为云开发者联盟

隐私保护 隐私计算 PSI 联邦计算 数据碰撞

技术调研,IDEA 插件怎么开发「脚手架、低代码可视化编排、接口生成测试」?

小傅哥

Java 小傅哥 低代码 IDEA 脚手架

索引下推,这个点你肯定不知道!

艾小仙

MySQL MySQL 高可用

微信自研生产级paxos类库PhxPaxos实现原理介绍

OpenIM

IM

Vue进阶(八十四):Computed 和 Watch 使用与区别

No Silver Bullet

Vue 8月日更

面向多场景而设计的 Erda Pipeline

尔达Erda

开源 微服务 云原生 企业数字化转型 Go 语言

Facebook 大数据模块快速部署和实时更新_QCon_冯翼_InfoQ精选文章