写点什么

事件流处理:数据仓库的可伸缩替代品

  • 2008-11-09
  • 本文字数:834 字

    阅读完需:约 3 分钟

Dan Pritchett 在博客上提出了一种数据仓库应用的替代方案。虽然厌恶“只能单一位置及单一存储空间上实现的方案”,他也承认有时候必须先聚合数据才能作分析。他所说的正是数据仓库应用的功能——沿着某些变量轴聚合信息并转化数据间的关系。而在 Pritchett 看来,数据仓库应用在使用中有许多缺点。数据仓库应用不仅非常昂贵,“比较小的组织一般难以企及”,而且 ETL(Extract, Transform and Load,提取、转换、装载)软件的工作方式意味着要付出可伸缩性和反应能力的代价:

首先,ETL 给生产数据库增加了明显的负担。如果你的业务有空窗期可以做 ETL,那是最好的;如果没有,管理可伸缩性就是很大的挑战。第二,数据仓库里的数据新鲜度一般滞后 24 小时或更长,随着业务增长,滞后时间会越来越长。

Dan Pritchett 相信有一种方案更便宜,也更可伸缩:用 ESP( Event Stream Processor )处理事件流。

ESP 用类似 SQL 的语言处理各种事件流。与数据库和数据仓库通过 SQL 分析数据表类似,ESP 用它们的查询语言分析事件流。要想理解 ESP,可以把事件类比成数据库表中的行,而事件的属性则对应数据库表的列。每一种事件类型就等于是一张表。 […]

[ESP 分析] 数据的变化,而且就在变化发生的当时分析。我们不再进行批量的 ETL,而是把业务事件变成一连串的数据状态变化。这就创造出一种更易于管理的生产系统的伸缩模型。

[…]

ESP 可以做水平伸缩,因此可以达至一种更具成本效益的业务方案。而且由于 ESP 执行分析是实时的,因此得到的业务指标更加应时,并且不受业务增长的影响。

Dan 也特别指出这种方法的弱点,就是不能进行历史性的分析,不能从当前以外的角度去观察业务活动。Pritchett 提出用一种捕捉并重演事务的框架去克服此弱点,不过该方案相当昂贵。Tahir Akhtar 在帖子的留言中提出另一种弥补方法:用 ESP 替代 ETL,但在享用 ESP 的可伸缩性和反应能力优势的同时,继续使用数据仓库应用以保留历史分析能力。

查看英文原文: Event Stream Processing: Scalable Alternative to Data Warehouses?

2008-11-09 19:321466
用户头像

发布了 225 篇内容, 共 71.7 次阅读, 收获喜欢 52 次。

关注

评论

发布
暂无评论
发现更多内容

开发者必备——IDEA配置清单

Noneplus

配置 IDEA

SpringBoot入门:00 - 初始化项目

封不羁

Spring Boot java 14

数据结构与算法知识点总结

烟雨濛濛

Python类中的__new__和__init__的区别

BigYoung

Python __init__ __new__

Rust是如何保障内存安全的

博文视点Broadview

读书笔记 rust

关于计划的思考

zhongzhq

猿灯塔:spring Boot Starter开发及源码刨析(二)

猿灯塔

Java 猿灯塔 源码刨析

不是完成你学习的 KPI ,而是要形成指导你行动的 OKR

非著名程序员

学习 程序员 提升认知 知识管理

mac vmware centos7 设置静态IP

愤毛阿青

network vmware Centos 7

30 张图带你分分钟看懂进程和线程基础知识全家桶

爱嘤嘤嘤斯坦

Java 线程 进程 进程线程区别

JVM中栈的frames详解

程序那些事

JVM 堆栈 性能调优 JIT GC

​区块链技术的重要性

CECBC

Tomcat8.5源码构建

知春秋

tomcat tomcat构建 tomcat源码解读 tomcat剖析

带你解析MySQL binlog

Simon

MySQL Binlog

一些思考

张健

还在划水?这个SQL你能写出来吗?

书旅

php MySQL SQL语法 sql查询

字节跳动面试经验分享,已拿 Offer!

伍陆柒

Java 面试 大厂

Python中的@staticmethod和@classmethod的区别

BigYoung

Python classmethod staticmethod

Linux 进程必知必会

苹果看辽宁体育

Linux 操作系统

Node.js与二进制数据流

自然醒

Java node.js 大前端 二进制

一文看懂 OAuth2

Geek_z9ygea

Java 大前端 Web oauth2.0

信创舆情一线--《关键信息基础设施安全保护条例》纳入2020年立法计划

统小信uos

信息安全

浅析 VO、DTO、DO、PO 的概念、区别和用处!

Java小咖秀

学习 设计模式 模型 经验分享

工厂方法模式

Leetao

Python 设计模式 工厂方法模式

性能碾压 POI !利用模板语法快速生成 Excel 报表

葡萄城技术团队

表格控件 GCExcel 服务器端开发

Redis进阶篇三——主从复制

多选参数

redis redis高可用 redis6.0.0 Redis项目

图片处理不用愁,给你十个小帮手

阿宝哥

Java 开源 大前端 工具 图片

漫画 | 架构设计中的那些事

码农神说

架构设计 架构师 漫画编程

Java集合总结,从源码到并发一路狂飙

给你买橘子

Java 编程 算法 集合

重学 Java 设计模式:实战访问者模式「模拟家长与校长,对学生和老师的不同视角信息的访问场景」

小傅哥

设计模式 小傅哥 重构 代码优化 访问者模式

推荐一款Python开源库,技术人必备的造数据神器!

狂师

Python 开源 自动化 开发工具 开发数据

事件流处理:数据仓库的可伸缩替代品_架构_Sadek Drobi_InfoQ精选文章