写点什么

Facebook 大数据模块快速部署和实时更新

  • 2019-08-29
  • 本文字数:710 字

    阅读完需:约 2 分钟

Facebook 大数据模块快速部署和实时更新

作为全球最大的社交网络公司,Facebook 的基础架构在很多方面面临性能和规模的挑战。为了增加用户数量和提高用户使用体验,我们越来越多的使用统计学习和多角度预测,为用户快速提供最新最感兴趣的信息。这需要系统做到软件快速部署和信息实时更新,其中软件部署互联网服务运维的主要工作之一。保证软件部署速度和数据事实更新会直接关系到系统维护成本和运营收入,特别是保证大规模分布式系统里面大模块内存数据的实时性是极具挑战性的工作。Facebook 高级性能架构工程师冯翼即将在 QCon 全球软件开发大会(上海站)2019分享《Facebook 大数据模块快速部署和实时更新


我们首先介绍 Facebook 服务的基本架构和规模,在此基础上我们分析软件部署速度和数据实时更新对于运维成本和运营收入的影响。我们通过两个具体用例来说明如何巧妙运用传统点对点加速部署并保证更新。这两个实例分别展示了:


  1. 如何大幅度降低软件部署所需要需要的时间和成本;

  2. 提高分布式系统中灾难恢复的速度。


最后和听众分享我们在应用中遇到的问题和解决方法。


这个演讲会由广及深,涵盖大规模互联网服务的基础架构,营收,运维,和技术实现四个层面,面向听众涵盖经理人,产品经理,运维和开发工程师。


嘉宾介绍


冯翼,纽约城市大学研究中心计算机博士, 现任 Facebook 性能架构工程师,主要负责 instagram 和信息安全系统的架构和性能优化。此前在微软和领英任职。工作内容涵盖了性能诊断和优化的大部分领域,包括 CPU,内存,网络 IO,存储空间,平台包括 Windows Server 和 RHEL,语言和 runtime 包括 C#,Java,C++;规模从单机单进程到 20 万台前端服务器集群。工作之余爱美食,做运动车改装,跑赛道。


更多智能运维的相关分享请访问 QCon 上海 2019 官网。


2019-08-29 12:151794

评论

发布
暂无评论
  • 如何搭建直播平台业务服务器?——Java(上)

    讲师介绍: 李阳明,猿辅导服务端研发工程师。在猿辅导目前主要负责直播课堂服务端的研发工作。擅长 Java、数据库、消息队列、服务划分、领域建模等,有 7 年的后端开发经验。 问题背景: 随着音视频直播技术的飞速发展,各种新兴或传统业务与音视频直播能力的结合越来越被广泛应用。现如今,直播平台的业务,不仅面临着高性能高并发的挑战,而且还有高可用性的要求。那么,应该如何兼顾系统的稳定性与业务功能的快速迭代呢?这就需要你掌握一定的相关知识。 内容看点: 直播平台业务服务器的范畴 直播业务所面临的技术挑战 战略上如何应对直播业务的技术挑战?

    2021-08-03

  • 模块三 - 架构详细文档

    本文描述了学生管理系统的详细架构,用于该系统的开发、部署和运维

    2021-11-17

  • 微信的业务架构 & 学生管理系统架构设计

    #微信业务架构图 #学生管理系统架构设计

    2022-01-27

  • 冲云破雾——10 分钟带你了解六大云上服务架构

    讲师介绍: 吕蕴偲,SRE 工程师,就职于国内某云服务商,负责 DevOps 及云上解决方案架构设计,多年云行业相关领域经验。熟悉 AWS 亚马逊云、阿里云等公有云,同时拥有 AWS 解决方案架构师认证及阿里云解决方案架构师认证,对多云云上架构设计部署有相关经验。 问题背景: 随着云上服务的开通,我们的需求从地端转换到了云端,以前 IDC 的那套模式已经不完全适用了。线上的架构搭建与线下的搭建有着本质的区别,线下的部署没有所谓的服务模型区分,可以笼统地归结到“基础设施”服务上来。而云上,有着较为明显的界限划分,即分为 IaaS 基础设施即服务、PaaS 平台即服务和 SaaS 软件即服务,近两年又出现了新兴 FaaS 函数即服务的服务模式。 面对这些复杂且多样的云服务,我们该如何根据不同需求搭建架构设计?本节课,我们将从简单到复杂、从单体到分布式说一说常见的几种架构设计和选择。 内容看点: 几种常见的架构设计模式 云端服务架构选择

    2021-12-24

  • ShowMeBug 黑科技丨一招快速实现架构绘图之鼠标同步

    在线的思维导图如何实现鼠标同步?

    2021-11-10

  • 架构师训练营第 1 期 - 第四周总结

    本周的重点学习内容是系统的架构设计,涉及的重点包括了物理层面的拓扑上的架构,也包含了软件层面为了应对目前互联网系统的特点而对应用进行拆分的软件设计架构.

    2020-10-18

  • SLICK: Facebook 基于 SLO 的可靠性保障实践

    定义服务的SLI和SLO,通过全局系统呈现、处理所有服务的SLI/SLO,从而帮助SRE实践在系统中的落地。本文介绍了Facebook(Meta)在这方面的实践。

    2021-12-29

  • linux 之 lscpu 命令

    lscpu 命令显示有关 CPU 架构的信息

    2021-09-20

  • 你们需要的 PPT 和视频 @数据存储与微服务架构实践沙龙

    本文转载自公众号携程技术(ID:ctriptech)。

  • Facebook 起诉水军公司:删不过来,我还告不过来吗?

    深受水军困扰的 Facebook,近日起诉了专业刷虚假评论和点赞的公司。但这仅仅是近一年多时间以来,Facebook 起诉的一小部分。

    2020-06-19

  • 极客时间架构 1 期:第 8 周 性能优化(二) - 命题作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020-11-15

  • JVM 架构解析

    JVM架构解析

    2022-07-16

  • 开篇词 | 可观测性,让开发和维护系统的你每晚都能睡个好觉!

    由于各大厂商对云原生的奔赴,传统的技术架构面临着巨大的冲击,监控也被架到了一个不得不革自己命的位置。在这样的背景之下,可观测性(Observability)脱颖而出。

    2022-09-14

  • 全链路跟踪系统设计与实现丨 GMTC

    为了支撑日益增长的庞大业务量,业界大量使用微服务架构。如何快速进行故障定位?如何准确进行容量评估?如何动态展示服务的链路?如何进行系统性能优化?这是分布式系统给后台开发同学带来的四大挑战。

  • 数据湖基本架构

    数据湖可以认为是新一代的大数据基础设施。为了更好的理解数据湖的基本架构,我们先来看看大数据基础设施架构的演进过程。

    2022-06-08

  • 大型 Android 应用内存监控如何进行?(上)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 为什么要做内存监控 因内存使用不当出现的问题 如何监控内存不足导致的崩溃 如何查询LMK次数

    2022-01-07

  • 软件架构那些事 | InfoQ 大咖说

    本期《大咖说》,我们将聊聊软件架构的前世今生,探讨当下软件架构的发展现状与挑战,与广大程序员谈谈架构师的职业发展。

  • 实现一个全链路监控平台很难吗?Pinpoint、SkyWalking、Zipkin,哪个实现比较好?

    随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。

    2021-03-08

  • 以史鉴今:监控是如何一步步发展而来的?

    可观测性是怎样发展而来的?让我们从监控的源头讲起。

    2022-09-14

  • 大型 Android 应用内存监控如何进行?(下)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 如何监控后台被强杀的问题 如何监控垃圾回收对流畅性的影响

    2022-01-07

发现更多内容

浪潮云向前进一步,又向后让一步

云计算

成功产品三要素

lenka

5月日更

Python 协程

若尘

协程 Python编程 5月日更

JavaScript 类型化数组

空城机

JavaScript 大前端 5月日更 类型化数组

url踩坑记录

ES_her0

5月日更

霸榜GitHub的阿里内部Spring Boot实战文档到底有多强?

Java 架构 面试 微服务

千万级学生管理系统的<考试试卷>存储方案

唐江

架构实战营

从火星的古海洋,读懂蓝星的数据湖之变

脑极体

从非洲血库到热带雨林:为什么普惠联接是社会的数字化支点?

脑极体

明天重新杨帆起航

IT蜗壳-Tango

5月日更

数字化战争即将开启,区块链将成为有效防护壁垒

CECBC

数据挖掘从入门到放弃(五)seaborn 的数据可视化

数据社

机器学习 5月日更

分布式事务与分布式系统

邱学喆

分布式事务 raft CAP PAXOS 副本一致性

5分钟速读之Rust权威指南(四)

wzx

JavaScript rust

架构学习笔记:架构定义

风翱

架构 5月日更

Dubbo 负载均衡

青年IT男

dubbo

架构实战营 - 模块 4- 作业

carl

并发王者课-青铜1:兵分三路-从创建线程开始

MetaThoughts

Java 多线程 高并发 Java高并发 每周二四六更新

《冰河的渗透实战笔记》电子书,442页,37万字,正式发布!!

冰河

网络安全 信息安全 渗透测试 网络攻防 互联网技术

“读万卷书,行万里路”,让你收获一个不平凡的人生

小天同学

读书 成长 旅行 5月日更

Golang List, Ring and Map

escray

学习 极客时间 Go 语言 5月日更

阿里工作6年,熬到P7就剩这份学习笔记了,已助朋友拿到7个Offer

Java 程序员 架构 面试

2千亿级超大模型的构建,能否突破中文场景的极限

这不科技

人工智能 nlp

ConcurrentHashMap

ltc

ConcurrentHashMap

位列第五大生产要素,大数据该如何突破隐私安全魔咒?

CECBC

Unix/Linux 编程:网络编程之 线程池

赖猫

Linux Linux服务器开发 Linux网络编程

世界电信日 | 英特尔5G赋能数字化转型的实现之道

E科讯

怎么学

Nydia

学习

网络攻防学习笔记 Day18

穿过生命散发芬芳

5月日更 网络攻防

❄️【程序员必看系列】开源项目有盈利模式指南

码界西柚

开源 程序员 盈利模式 5月日更

docker(centos系统)安装vim工具

liuzhen007

Docker 5月日更

Facebook 大数据模块快速部署和实时更新_QCon_冯翼_InfoQ精选文章