写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:521044

评论

发布
暂无评论
发现更多内容

【得物技术】前端微服务

得物技术

微服务 大前端 得物技术

英文IT数码类播客学习笔记

SilentMacUser

红帽 互联网 播客 计算机历史

大作业(二)

Binary

简述软件不可用性及解决办法

跳蚤

人社部拟发10几个新职业,区块链行业占两个

CECBC

区块链人才

多应用集中落地,四川区块链产业爆发增长

CECBC

区块链

张开怀抱迎接Golang

Kylin

读书笔记 语法 3月日更 Java转go Go 语言

雄岸科技区块链布局价值待考

CECBC

区块链 科技

架构师是什么?

ES_her0

28天写作 3月日更

【笔记】第七周 第 2 课

Geek_娴子

第十一周作业

Geek_mewu4t

软件工程任务排期方法

steve_lee

我的Java转Go之路

roseduan

Java 转行 Go web Go 语言

又一款Nginx 管理可视化神器!通过界面完成配置监控,一条龙!

Java小咖秀

nginx 运维 后端

MySQL调优

Sakura

28天写作 3月日更

「架构师训练营 4 期」 第十一周 - 001&2

凯迪

架构师训练营 4 期

基于 SparkMLlib 智能课堂教学评价系统-系统设计(三)

大数据技术指南

大数据 spark 智能时代 28天写作 3月日更

场景化面试:Kafka 为何有如此高的吞吐量和性能

面试官问

kafka 零拷贝 PageCache

还原五百丁APP需求文档

林亚超

区块链+金融落地应用详解

CECBC

金融

我的学习笔记

SilentMacUser

Python JavaScript 学习 大前端 开发

Elasticsearch 写入流程 Making Changes Persistent

escray

elastic 28天写作 死磕Elasticsearch 60天通过Elastic认证考试 3月日更

「架构师训练营 4 期」 第十周 - 001&2

凯迪

架构师训练营 4 期

员工遇到问题 - 是给答案还是给引导?

石云升

项目管理 28天写作 职场经验 管理经验 3月日更

大作业(一)

Binary

数据采集之Flume采集及点击流模型详解

五分钟学大数据

大数据 28天写作 3月日更 flume 点击流模型

Vue3源码 | 深入理解响应式系统下篇-effect

梁龙先森

源码分析 大前端 Vue3

安全架构学习总结

跳蚤

React 中 useContext 和 useMemo 一般性使用

sadhu

React useContext useMemo React Hooks

ARTS - week 2

steve_lee

区块链+版权:NFT出圈,善用技术能否“破心中贼”?

CECBC

数字技术

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章