写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:52960

评论

发布
暂无评论
发现更多内容

【架构师训练营 - 作业 -5】一致性HASH算法实现

小动物

极客大学架构师训练营 作业 第五周

架构师训练营 Week 05 作业

Wancho

架构师训练营 - 第五周 - 作业

韩挺

Spring 同名 Bean 加载策略

xiaoxi666

spring bean 同名 覆盖

Week 05- 作业二:学习总结

dean

极客大学架构师训练营

动手实现一致性hash算法

极客大学架构师训练营 分布式缓存 一致性哈希 一致性hash

使用@AutoConfigureBefore调整配置顺序竟没生效?

YourBatman

Java Spring Boot @AutoConfigureBefore

Week 05- 作业一:一致性 hash 算法

dean

极客大学架构师训练营

命题作业5-1 【C++实现版本】

天之彼方

c++

架构师训练营第五章作业

叮叮董董

区块链技术打通医疗应用场景

CECBC

行业资讯 生产 区块链技术 生活服务

week5-总结 技术选型

Geek_z9dmvw

首次揭秘!​春晚活动下快手实时链路保障实践

Apache Flink

Apache flink 架构 实时计算

第五周作业-一致性hash算法实现

吴建中

极客大学架构师训练营

你都如何回忆我,带着笑或是很沉默

小天同学

回忆 高考 青春

架构师第5周总结

老姜

Week5 一致性hash算法

TiK

开发人员应当避免的代价高昂的职业错误

小隐乐乐

职业规划 职业素养 架构师

不懂SpringApplication生命周期事件?那就等于不会Spring Boot嘛

YourBatman

Spring Boot SpringApplication

Week 05 命题作业

卧石漾溪

极客大学架构师训练营

用一致性Hash算法的实现负载均衡(Kotlin)

Acker飏

极客大学架构师训练营 一致性Hash算法

就餐卡系统设计

springBoot集成rabbitmq并实现延时队列

生命在于折腾

RabbitMQ

week2作业

架构师训练营 - 第五周 - 学习总结

韩挺

架构师训练营学习总结——缓存与消息队列【第五周】

王海

极客大学架构师训练营

Week 5 作业

Shawn

架构师训练营第5周作业

Bruce Xiong

一致性Hash算法以及Java代码实现

架构5班杨娟Jessie

极客大学架构师训练营

分布式缓存、消息系统和异步架构

架构5班杨娟Jessie

极客大学架构师训练营

架构师训练营第五章总结

叮叮董董

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章