时隔16年Jeff Barr重返10.23-25 QCon上海站,带你看透AI如何重塑软件开发! 了解详情
写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:521023

评论

发布
暂无评论
发现更多内容

三个维度,透视5G价值的持续点亮之旅

脑极体

Dubbo 3.0.0 来了!还学得动吗?

青年IT男

dubbo

《原则》(二十九)

Changing Lin

混合推荐系统介绍(二十二)

Databri_AI

推荐系统 计算

网络攻防学习笔记 Day59

穿过生命散发芬芳

网络攻防 6月日更

建信金科大咖访谈:地方特色产业互联网建设思考与实践

金科优源汇

DNS劫持该如何处理

网络安全学海

程序员 运维 网络安全 信息安全 DNS

如何优雅的设计DWS层?

云祁

大数据 数据仓库 维度建模

前端 JavaScript 中 JSON.stringify() 的基本用法

编程三昧

JavaScript 大前端

德勤基于Amazon WAF 云原生安全服务为客户交付价值

亚马逊云科技 (Amazon Web Services)

人工智能应用架构的思考

金科优源汇

我是如何用 ThreadLocal 虐面试官的?

陈皮的JavaLib

Java 面试 多线程 ThreadLocal

lockSupport怎么玩

卢卡多多

锁机制 6月日更

ZooKeeper实战

CodeWithBuff

Java zookeeper

为什么很多时候,我们会感觉企业越大,效率越低呢?

石云升

职场经验 管理经验 6月日更

5分钟速读之Rust权威指南(三十二)互斥体

wzx

rust

如何设计恒流源输出电路?

不脱发的程序猿

嵌入式 电路设计 硬件研发 恒流源输出电路

「2021中国峰会同行记」第二回 | 探索店匠从0到1出海的技术密码

亚马逊云科技 (Amazon Web Services)

python 连接钉钉传输工作数据监控

百里丶落云

百度AICA迎来毕业季,55位新晋“首席AI架构师”推进产业智能化

百度大脑

人工智能 百度 架构师

「2021中国峰会同行记」第一回 | 与埃森哲一同追溯技术合力的本源

亚马逊云科技 (Amazon Web Services)

迪士尼将亚马逊云科技作为首选的公有云基础设施供应商,支持 Disney+ 全球扩展

亚马逊云科技 (Amazon Web Services)

详解Redis主从复制原理

蘑菇睡不着

Java redis

解放生产力,自动化生成Vue组件文档

vivo互联网技术

Vue 自动化 大前端 组件

新常态下的CMDB系统规划与落地

云智慧AIOps社区

CMDB 智能运维

前端面试中有趣的题目(一)

空城机

JavaScript 大前端 6月日更

领域驱动设计101 - 模块

luojiahu

领域驱动设计 DDD

高性能计算与人工智能何处去?英特尔剑指XPU

E科讯

JavaScript中的Set数据操作:交集、差集、交集、对称差集

devpoint

set JavaScrip 6月日更

快手封停多个内容侵权账号:如何严打短视频内容侵权行为

石头IT视角

北鲲云超算平台如何加速生命科学研究

北鲲云

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章