写点什么

Brisk——针对低延迟应用与 Hadoop/Hive 分析的统一大数据平台

  • 2011-03-27
  • 本文字数:1168 字

    阅读完需:约 4 分钟

两大主流 BigTable 开源实现之间的竞争—— HBase Cassandra 加速了 DataStax 推出其新产品,即 Brisk,一款基于 Cassandra 的 Hadoop 分布式实现。DataStax 产品副总裁 Ben Werther 谈到:

我们的想法是推出一款独一无二的平台,使其既能为“实时”web 范围应用提供低延迟数据库,又能利用 Hadoop 提供的各种各样丰富的数据分析功能。我们从业界所得知的一个需求是,他们需要一个完整的大数据视图,从实时低延迟应用贯穿到可用来进行数据分析的工具,以及使用这些工具把分析结果数据反馈回应用的能力。

Tim Estes,Digital Reasoing 的 CEO 对此做了进一步解释

通过把 Cassandra 的能力——包括其简易性、可伸缩性和快速读写性——结合到 Hadoop 上,DataStax 已经创建了一个能够加快从数据创建到数据分析速度的强大系统。我们可以借用部分 Cassandra 提供的独特功能来帮助那些存在多个数据中心并且需要处理大量复杂数据的项目。我们非常激动能够和 DataStax 小组合作,把这些功能介绍给一些对此有很高期望的用户——尤其是国防情报部门。

当 Cassandra 的缔造者——Facebook——因为 HBase 强大的一致性特点而开始为其社交邮件产品放弃Cassandra 转向HBase 时,DataStax 则选择了相反的一条道路,结合Cassandra 和Hadoop。 Ben Werther——DataStax 产品副总裁对此说到

HBase 成熟度没有 Cassandra 那么高,而且它构建在 HDFS(Hadoop 分布式文件系统)之上,在可伸缩性和可靠性方面会面临一些挑战……Cassandra 可以为 Hadoop 堆栈低级别部分的所有功能提供服务,而与此同时在同一基础设施中又能提供低延迟实时应用的功能。此外,Cassandra 的设计初衷就是可以让部分 Brisk 基础设施关注于数据分析,而另一部分处理低延迟应用。当你往 Hive 里写查询语句或者使用 Hive 进行优化时,你可以把它作为一个实时基础设施,即插即用。

Brisk 包括了 Hadoop MapReduce 和 Hive,使你可以跨多个商用硬件集群做特大数量的计算工作。但为了兼容 Cassandra 提供的存储层,需要对 Hadoop HDFS 文件系统进行切换。同时,你还是可以使用 Cassandra 本有的功能:为实时应用设计的数据库。也就是说,Brisk 不会消除一些 Hadoop 中的单点失效。根据开发者文档,Hadoop/Casssandra 集群配置依然需要:

集群里应该提供一个服务器给如下 Hadoop 组件专用: - JobTracker

  • datanode
  • namenode

该专属服务器是必需的,这是因为 Hadoop 使用 HDFS 来存储你工作所需的 JAR 依赖项、静态数据以及其他必需的信息。在你集群的整个环境下,这些虽然都是很少量的数据,但是对运行 MapReduce 工作来说非常重要。

目前,Brisk 还有点在纸上谈兵。因为该平台还没有正式使用到生产系统中,甚至还没有开源。但无论如何,这都是吸引人眼球的构想。


查看英文原文: Brisk - Unified Big-Data Platform for Low-Latency Applications and Hadoop/Hive Analytics

2011-03-27 01:482881
用户头像

发布了 52 篇内容, 共 20.3 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

中原银行分布式缓存实践

中原银行

redis 中间件 分布式缓存 中原银行

联邦学习框架浅析

趣链科技

研发工具链介绍

百度开发者中心

学习 最佳实践 方法论 研发工具

南京主题展2021国际大数据产业展会/论坛会

南京专业智博会

大数据 智博会 南京智博会

2021年第十四届南京智慧城市展览会

南京专业智博会

智博会 智慧城市展览会 智慧城市论坛会

面试讲不清MySQL索引底层,Java面试

Java 程序员 后端

(AL智博会)2021南京国际人工智能主题展

南京专业智博会

人工智能展览会 人工智能论坛会 人工智能智博会

2021南京国际智慧工地装备展览会

南京专业智博会

智博会 智慧工地展览会 智慧工地论坛会

直播预告丨走进云溪数据库之高可用方案

云计算

乘风破浪携手共赢——博睿数据深圳渠道大会圆满落幕

博睿数据

Vite + Vue3 + OpenLayers 手动控制缩放级别

德育处主任

大前端 地图 vite openlayers Vue 3

【Vuex 源码学习】第四篇 - Vuex 中 Getters 的实现

Brave

源码 vuex 9月日更

物联世界2021南京物联网展览会

南京专业智博会

物联网展览会 物联网论坛会 物联网智博会

不会 Lua?Python 助你快速上手 Apache APISIX 插件开发

API7.ai 技术团队

Python Apache 开源 API网关 APISIX

《中国梦》打造数亿中产阶级!疯了,疯了,全涨疯了!!

CECBC

云智一体破解AI落地“最后一公里”难题,企业智能化转型再获新利器

百度大脑

人工智能

Alibaba船新制作“Java架构核心宝典”,全是流行技术,限时开放

Java 程序员 架构 面试 计算机

区块链“牵手”金融 面临诸多挑战

CECBC

CSS交互动画指南之keyframes

devpoint

CSS css3 9月日更

面试官zookeeper 是如何实现一致性的?我大意了,让我回去等通知

Java 面试 分布式 后端

JavaScript 进阶(二)下

Augus

JavaScript 9月日更

模块三作业:学生管理系统架构设计文档

apple

Apache APISIX 为 KubeSphere 提供更好用的网关及 K8S Ingress Controller

API7.ai 技术团队

Apache 开源 API网关 APISIX KubeSphere

交Y所K线机器人系统开发功能介绍(源码搭建)

量化系统19942438797

机器人 k线

Go 专栏|并发编程:goroutine,channel 和 sync

AlwaysBeta

Go 语言

雪花算法,什么情况下发生 ID 冲突?

Java 架构 分布式 算法

阿里大佬怒写“Java初学者宝典”,让你就业没压力

Java 阿里巴巴 程序员 面试 计算机

Android的Ftp断点上传---Aria使用笔记

Changing Lin

9月日更

架构实战营 - 模块三作业

Alex.Wu

Opus从入门到精通(一):简介

轻口味

android 音视频 9月日更

学生管理系统整理架构设计

小智

架构训练营

Brisk——针对低延迟应用与Hadoop/Hive分析的统一大数据平台_SOA_Boris Lublinsky_InfoQ精选文章