写点什么

Brisk——针对低延迟应用与 Hadoop/Hive 分析的统一大数据平台

  • 2011-03-27
  • 本文字数:1168 字

    阅读完需:约 4 分钟

两大主流 BigTable 开源实现之间的竞争—— HBase Cassandra 加速了 DataStax 推出其新产品,即 Brisk,一款基于 Cassandra 的 Hadoop 分布式实现。DataStax 产品副总裁 Ben Werther 谈到:

我们的想法是推出一款独一无二的平台,使其既能为“实时”web 范围应用提供低延迟数据库,又能利用 Hadoop 提供的各种各样丰富的数据分析功能。我们从业界所得知的一个需求是,他们需要一个完整的大数据视图,从实时低延迟应用贯穿到可用来进行数据分析的工具,以及使用这些工具把分析结果数据反馈回应用的能力。

Tim Estes,Digital Reasoing 的 CEO 对此做了进一步解释

通过把 Cassandra 的能力——包括其简易性、可伸缩性和快速读写性——结合到 Hadoop 上,DataStax 已经创建了一个能够加快从数据创建到数据分析速度的强大系统。我们可以借用部分 Cassandra 提供的独特功能来帮助那些存在多个数据中心并且需要处理大量复杂数据的项目。我们非常激动能够和 DataStax 小组合作,把这些功能介绍给一些对此有很高期望的用户——尤其是国防情报部门。

当 Cassandra 的缔造者——Facebook——因为 HBase 强大的一致性特点而开始为其社交邮件产品放弃Cassandra 转向HBase 时,DataStax 则选择了相反的一条道路,结合Cassandra 和Hadoop。 Ben Werther——DataStax 产品副总裁对此说到

HBase 成熟度没有 Cassandra 那么高,而且它构建在 HDFS(Hadoop 分布式文件系统)之上,在可伸缩性和可靠性方面会面临一些挑战……Cassandra 可以为 Hadoop 堆栈低级别部分的所有功能提供服务,而与此同时在同一基础设施中又能提供低延迟实时应用的功能。此外,Cassandra 的设计初衷就是可以让部分 Brisk 基础设施关注于数据分析,而另一部分处理低延迟应用。当你往 Hive 里写查询语句或者使用 Hive 进行优化时,你可以把它作为一个实时基础设施,即插即用。

Brisk 包括了 Hadoop MapReduce 和 Hive,使你可以跨多个商用硬件集群做特大数量的计算工作。但为了兼容 Cassandra 提供的存储层,需要对 Hadoop HDFS 文件系统进行切换。同时,你还是可以使用 Cassandra 本有的功能:为实时应用设计的数据库。也就是说,Brisk 不会消除一些 Hadoop 中的单点失效。根据开发者文档,Hadoop/Casssandra 集群配置依然需要:

集群里应该提供一个服务器给如下 Hadoop 组件专用: - JobTracker

  • datanode
  • namenode

该专属服务器是必需的,这是因为 Hadoop 使用 HDFS 来存储你工作所需的 JAR 依赖项、静态数据以及其他必需的信息。在你集群的整个环境下,这些虽然都是很少量的数据,但是对运行 MapReduce 工作来说非常重要。

目前,Brisk 还有点在纸上谈兵。因为该平台还没有正式使用到生产系统中,甚至还没有开源。但无论如何,这都是吸引人眼球的构想。


查看英文原文: Brisk - Unified Big-Data Platform for Low-Latency Applications and Hadoop/Hive Analytics

2011-03-27 01:483032
用户头像

发布了 52 篇内容, 共 21.3 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

产品经理训练营学习总结

新盛

Spring优缺点

风翱

spring 4月日更

Dubbo 直连提供者

青年IT男

dubbo

MySQL事务机制是如何实现的?

冰河

MySQL 事务 Binlog Redo Log Undo Log

源中瑞区块链BaaS平台搭建,为企业开发应用提供技术支撑

源中瑞-龙先生

区块链 源中瑞 Baas

前端架构演进 - 从单体到微前端(理论篇)

Teobler

大前端 架构演进

网络协议学习笔记 Day4

穿过生命散发芬芳

网络协议 4月日更

HashMap 源码分析

大海

Java HashMap底层原理

2021团体程序设计天梯赛总结

玄兴梦影

算法 总结 比赛

第八次课程总结

小匚

产品经理训练营

稻盛和夫的管理绝活:阿米巴经营模式

石云升

团队建设 28天写作 职场经验 管理经验 4月日更

如何运用“区块链”,让档案数据管理更安全

CECBC

数据安全

区块链链接能源:到底是乌托邦愿景还是未来蓝图?

CECBC

能源

Redis 持久化

叶佳欣

redis持久化

KubeFed集群联邦

ilinux

Kubernetes 容器 云原生 kubernetes联邦

截图软件Snipaste超好用的贴图功能,在别的软件也能拥有 | 窗口置顶工具

彭宏豪95

效率 工具 windows 4月日更 窗口置顶

postman的url编码问题

箭上有毒

4月日更

小白也能看懂的操作系统之内存

程序猿阿星

操作系统 内存 内存管理 内存优化

Python OOP-3

若尘

oop Python编程

一念三年,心机流转|靠谱点评

无量靠谱

区块链电子发票的多维创新与变革效应

CECBC

电子税务

Golang 常见架构模式

escray

学习 极客时间 Go 语言 4月日更

产品文档和原型怎么弄?——课堂笔记

Deborah

“拼多多”值得我们学习

小天同学

思考 拼多多 自我感悟 4月日更

工作三年,小胖连 Redis 持久化都不知道?真丢人!

一个优秀的废人

redis 持久化 aof rdb

Spring 实战:通过 BeanPostProcessor 动态注入 ID 生成器

看山

Spring实战

ConcurrentHashMap 源码分析

大海

ConcurrentHashMap

聪明人的训练(二十五)

Changing Lin

4月日更

把黄金圣衣交给圣斗士:HDC.Cloud 2021的硬核春天

脑极体

2.7w字!Java基础面试题/知识点总结!(2021 最新版)

JavaGuide

Java 面试

话题讨论|华为云再报大动作,云厂商未来战场在哪里?

程序员架构进阶

话题讨论 28天写作 4月日更

Brisk——针对低延迟应用与Hadoop/Hive分析的统一大数据平台_SOA_Boris Lublinsky_InfoQ精选文章