写点什么

Facebook 大数据模块快速部署和实时更新

  • 2019-08-29
  • 本文字数:710 字

    阅读完需:约 2 分钟

Facebook 大数据模块快速部署和实时更新

作为全球最大的社交网络公司,Facebook 的基础架构在很多方面面临性能和规模的挑战。为了增加用户数量和提高用户使用体验,我们越来越多的使用统计学习和多角度预测,为用户快速提供最新最感兴趣的信息。这需要系统做到软件快速部署和信息实时更新,其中软件部署互联网服务运维的主要工作之一。保证软件部署速度和数据事实更新会直接关系到系统维护成本和运营收入,特别是保证大规模分布式系统里面大模块内存数据的实时性是极具挑战性的工作。Facebook 高级性能架构工程师冯翼即将在 QCon 全球软件开发大会(上海站)2019分享《Facebook 大数据模块快速部署和实时更新


我们首先介绍 Facebook 服务的基本架构和规模,在此基础上我们分析软件部署速度和数据实时更新对于运维成本和运营收入的影响。我们通过两个具体用例来说明如何巧妙运用传统点对点加速部署并保证更新。这两个实例分别展示了:


  1. 如何大幅度降低软件部署所需要需要的时间和成本;

  2. 提高分布式系统中灾难恢复的速度。


最后和听众分享我们在应用中遇到的问题和解决方法。


这个演讲会由广及深,涵盖大规模互联网服务的基础架构,营收,运维,和技术实现四个层面,面向听众涵盖经理人,产品经理,运维和开发工程师。


嘉宾介绍


冯翼,纽约城市大学研究中心计算机博士, 现任 Facebook 性能架构工程师,主要负责 instagram 和信息安全系统的架构和性能优化。此前在微软和领英任职。工作内容涵盖了性能诊断和优化的大部分领域,包括 CPU,内存,网络 IO,存储空间,平台包括 Windows Server 和 RHEL,语言和 runtime 包括 C#,Java,C++;规模从单机单进程到 20 万台前端服务器集群。工作之余爱美食,做运动车改装,跑赛道。


更多智能运维的相关分享请访问 QCon 上海 2019 官网。


2019-08-29 12:151823

评论

发布
暂无评论
  • 实现一个全链路监控平台很难吗?Pinpoint、SkyWalking、Zipkin,哪个实现比较好?

    随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。

    2021-03-08

  • 如何搭建直播平台业务服务器?——Java(上)

    讲师介绍: 李阳明,猿辅导服务端研发工程师。在猿辅导目前主要负责直播课堂服务端的研发工作。擅长 Java、数据库、消息队列、服务划分、领域建模等,有 7 年的后端开发经验。 问题背景: 随着音视频直播技术的飞速发展,各种新兴或传统业务与音视频直播能力的结合越来越被广泛应用。现如今,直播平台的业务,不仅面临着高性能高并发的挑战,而且还有高可用性的要求。那么,应该如何兼顾系统的稳定性与业务功能的快速迭代呢?这就需要你掌握一定的相关知识。 内容看点: 直播平台业务服务器的范畴 直播业务所面临的技术挑战 战略上如何应对直播业务的技术挑战?

    2021-08-03

  • JVM 架构解析

    JVM架构解析

    2022-07-16

  • 架构师训练营第 1 期 - 第四周总结

    本周的重点学习内容是系统的架构设计,涉及的重点包括了物理层面的拓扑上的架构,也包含了软件层面为了应对目前互联网系统的特点而对应用进行拆分的软件设计架构.

    2020-10-18

  • 软件架构那些事 | InfoQ 大咖说

    本期《大咖说》,我们将聊聊软件架构的前世今生,探讨当下软件架构的发展现状与挑战,与广大程序员谈谈架构师的职业发展。

  • 极客时间架构 1 期:第 8 周 性能优化(二) - 命题作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020-11-15

  • ShowMeBug 黑科技丨一招快速实现架构绘图之鼠标同步

    在线的思维导图如何实现鼠标同步?

    2021-11-10

  • 数据湖基本架构

    数据湖可以认为是新一代的大数据基础设施。为了更好的理解数据湖的基本架构,我们先来看看大数据基础设施架构的演进过程。

    2022-06-08

  • 模块三 - 架构详细文档

    本文描述了学生管理系统的详细架构,用于该系统的开发、部署和运维

    2021-11-17

  • 你们需要的 PPT 和视频 @数据存储与微服务架构实践沙龙

    本文转载自公众号携程技术(ID:ctriptech)。

  • 开篇词 | 可观测性,让开发和维护系统的你每晚都能睡个好觉!

    由于各大厂商对云原生的奔赴,传统的技术架构面临着巨大的冲击,监控也被架到了一个不得不革自己命的位置。在这样的背景之下,可观测性(Observability)脱颖而出。

    2022-09-14

  • linux 之 lscpu 命令

    lscpu 命令显示有关 CPU 架构的信息

    2021-09-20

  • Facebook 起诉水军公司:删不过来,我还告不过来吗?

    深受水军困扰的 Facebook,近日起诉了专业刷虚假评论和点赞的公司。但这仅仅是近一年多时间以来,Facebook 起诉的一小部分。

    2020-06-19

  • 以史鉴今:监控是如何一步步发展而来的?

    可观测性是怎样发展而来的?让我们从监控的源头讲起。

    2022-09-14

  • 冲云破雾——10 分钟带你了解六大云上服务架构

    讲师介绍: 吕蕴偲,SRE 工程师,就职于国内某云服务商,负责 DevOps 及云上解决方案架构设计,多年云行业相关领域经验。熟悉 AWS 亚马逊云、阿里云等公有云,同时拥有 AWS 解决方案架构师认证及阿里云解决方案架构师认证,对多云云上架构设计部署有相关经验。 问题背景: 随着云上服务的开通,我们的需求从地端转换到了云端,以前 IDC 的那套模式已经不完全适用了。线上的架构搭建与线下的搭建有着本质的区别,线下的部署没有所谓的服务模型区分,可以笼统地归结到“基础设施”服务上来。而云上,有着较为明显的界限划分,即分为 IaaS 基础设施即服务、PaaS 平台即服务和 SaaS 软件即服务,近两年又出现了新兴 FaaS 函数即服务的服务模式。 面对这些复杂且多样的云服务,我们该如何根据不同需求搭建架构设计?本节课,我们将从简单到复杂、从单体到分布式说一说常见的几种架构设计和选择。 内容看点: 几种常见的架构设计模式 云端服务架构选择

    2021-12-24

  • 微信的业务架构 & 学生管理系统架构设计

    #微信业务架构图 #学生管理系统架构设计

    2022-01-27

  • SLICK: Facebook 基于 SLO 的可靠性保障实践

    定义服务的SLI和SLO,通过全局系统呈现、处理所有服务的SLI/SLO,从而帮助SRE实践在系统中的落地。本文介绍了Facebook(Meta)在这方面的实践。

    2021-12-29

  • 大型 Android 应用内存监控如何进行?(下)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 如何监控后台被强杀的问题 如何监控垃圾回收对流畅性的影响

    2022-01-07

  • 全链路跟踪系统设计与实现丨 GMTC

    为了支撑日益增长的庞大业务量,业界大量使用微服务架构。如何快速进行故障定位?如何准确进行容量评估?如何动态展示服务的链路?如何进行系统性能优化?这是分布式系统给后台开发同学带来的四大挑战。

  • 大型 Android 应用内存监控如何进行?(上)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 为什么要做内存监控 因内存使用不当出现的问题 如何监控内存不足导致的崩溃 如何查询LMK次数

    2022-01-07

发现更多内容

全面支持JS/eTS应用开发,DevEco Studio 3.0 Beta4新版本发布

HarmonyOS开发者

HarmonyOS

[Windows环境] 批量获取某目录下的所有文件名

Empty

干货|语义网、Web3.0、Web3、元宇宙这些概念还傻傻分不清楚?(上)

Orillusion

开源 WebGL 元宇宙 Metaverse webgpu

一、What's API

忠厚

API API Explorer平台 api 网关

体验SRCNN和FSRCNN两种图像超分网络应用

华为云开发者联盟

人工智能 图像 图像超分

什么是无代码?无代码应用开发的12大好处!

优秀

无代码

Windows 下安装 js运行时 Bun 教程

OpenHacker

js ts

SeekTiger即将上线STI聚变Mining功能,获取OKA通证

股市老人

LeetCode-121. 买卖股票的最佳时机(java)

bug菌

Leet Code 7月月更

java零基础入门-封装

喵手

Java 7月月更

从工程师到技术leader的思维升级

阿里技术

技术成长

Raccoon Network浣熊网络系统开发模式分析

开发微hkkf5566

图像搜索的分析和理解

Geek_e369a5

图像搜索 图像搜索是什么 图像搜索的分析理解 图像搜索就在身边

自动发送企业微信通知,让我来教你真的超简单!

Jianmu

自动化 CI/CD 企业微信 通知

BAT 面试 Java 岗经验汇总:面试重点 + 精选面试 120 题 +6 条面试经验!

程序知音

Java 程序员 后端 java面试 八股文

LeaRun快速开发平台:企业供应链管理系统解决方案

力软低代码开发平台

操作符这块,你可得把握住

芒果酱

7月月更

搭上数字化列车,带你看看智能运维的新景象

云智慧AIOps社区

运维 运维自动化 数字化运维 智能运维 运维管理

【C 语言】进阶指针 Five

謓泽

7月月更

NFT藏宝计划系统开发模式分析

开发微hkkf5566

对OpenHarmony中LiteOS的内核分析——超时原理和应用

OpenHarmony开发者

OpenHarmony

对安全和效率的一点思考(39/100)

hackstoic

安全

华为云GaussDB两大数据库通过中国信通院多项评测

华为云开发者联盟

数据库 后端 华为云

InfoQ专访 | 联邦学习将会带来数据价值挖掘的下一个爆发点

Jessica@数牍

联邦学习

关于 SAPGUI 事物码在 Fiori Launchpad 中嵌入运行的技术细节

汪子熙

web开发 SAP Fiori ui5 7月月更

第十八届IET交直流输电国际会议(ACDC 2022)为交直流前沿学术技术探讨搭建重要桥梁

E科讯

Minio 可观测最佳实践

观测云

用它!用它!轻松实现线上线下门店一体化运营!

CRMEB

厚积而薄发,CRMEB Pro 商城系统每一步都很扎实!

CRMEB

数据仓库与大数据挖掘技术调度平台- TASKCTL

敏捷调度TASKCTL

数据仓库 国产开源 TASKCTL 大数据仓库 DevOps工具

Facebook 大数据模块快速部署和实时更新_QCon_冯翼_InfoQ精选文章