硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:521017

评论

发布
暂无评论
发现更多内容

鸿蒙开发入门 | 开发第一个鸿蒙应用+页面跳转

TiAmo

华为 鸿蒙开发 10月月更

uniapp打开地图选择位置

源字节1号

软件开发 前端开发 后端开发 小程序开发

数字云栖,邀您共享极致计算与创新进化的科技盛宴

阿里云CloudImagine

阿里云 边缘计算 云栖大会

前端懒加载和预加载

hellocoder2029

JavaScript

秒杀活动!!!! 如何撑住10W QPS

CTO技术共享

10月月更

ERP到底是自研还是外采好????

CTO技术共享

10月月更

golang中的map

六月的

Go map

自主创新、领先一代,星环科技成功登陆科创板

星环科技

大数据 开源

如何进行企业数字化转型?传统企业数字化转型的3大底层逻辑

优秀

企业数字化转型

Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】

汀丶人工智能

nlp

【10.14-10.21】写作社区优秀技术博文更新啦!

InfoQ写作社区官方

优质创作周报

BH1750 光照传感器文档详解 及 驱动设计

矜辰所致

传感器 stm32 I2C协议 10月月更 BH1750

Go语言入门04—循环语句

良猿

Go golang 后端 10月月更

企业级开发平台的演进

世开 Coding

软件开发 低代码 快速开发平台 少代码

Mysql数据库基础之数据库的安装与配置

渔戈

MySQL 数据库 10月月更

原来Vue3的computed属性还能这么用啊🔥

渔戈

Vue 前端 10月月更

Go语言入门03—条件语句

良猿

Go golang 后端 10月月更

为什么vue3要选用proxy,好处是什么?

hellocoder2029

JavaScript

不可错过!14位安全大拿齐聚!AMD、Arm及Intel等技术专家解读系统安全 | 2022云栖大会

OpenAnolis小助手

开源社区 系统安全 云栖大会 龙蜥安全专场 操作系统峰会

担时代任务 与国家同频 | 九科信息创始人万正勇:自主可控是中国超级自动化技术发展的必要条件

九科Ninetech

RPA 信创

遮罩和蒙版有什么区别,视频遮罩怎么用

懒得勤快

node+express操作cookie

木偶

前端 Node Express 10月月更

生产环境P0级事故,整个项目组被罚

CTO技术共享

常见恶意软件类型及危害

郑州埃文科技

网络安全 恶意软件 办公安全

途游游戏 DevOps 实践|都说「单元测试」好,「AAAC四步法」少不了

极狐GitLab

DevOps 运维 单元测试 CI/CD 代码安全

驾考宝典携手HMS Core统一扫码服务,构建复杂场景中的流畅扫码体验

HarmonyOS SDK

扫码

“程”风破浪的开发者|OpenHarmony应用开发环境搭建

技能实验室

OpenHarmony “程”风破浪的开发者

分布式事务-CAP理论

zarmnosaj

10月月更

强烈推荐!腾讯T8架构师手写的SpringBoot分布式架构笔记

小小怪下士

Java 分布式 后端 springboot

pt尾递归优化

hellocoder2029

JavaScript

一文彻底搞懂前端缓存机制

hellocoder2029

JavaScript

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章