写点什么

Brisk——针对低延迟应用与 Hadoop/Hive 分析的统一大数据平台

  • 2011-03-27
  • 本文字数:1168 字

    阅读完需:约 4 分钟

两大主流 BigTable 开源实现之间的竞争—— HBase Cassandra 加速了 DataStax 推出其新产品,即 Brisk,一款基于 Cassandra 的 Hadoop 分布式实现。DataStax 产品副总裁 Ben Werther 谈到:

我们的想法是推出一款独一无二的平台,使其既能为“实时”web 范围应用提供低延迟数据库,又能利用 Hadoop 提供的各种各样丰富的数据分析功能。我们从业界所得知的一个需求是,他们需要一个完整的大数据视图,从实时低延迟应用贯穿到可用来进行数据分析的工具,以及使用这些工具把分析结果数据反馈回应用的能力。

Tim Estes,Digital Reasoing 的 CEO 对此做了进一步解释

通过把 Cassandra 的能力——包括其简易性、可伸缩性和快速读写性——结合到 Hadoop 上,DataStax 已经创建了一个能够加快从数据创建到数据分析速度的强大系统。我们可以借用部分 Cassandra 提供的独特功能来帮助那些存在多个数据中心并且需要处理大量复杂数据的项目。我们非常激动能够和 DataStax 小组合作,把这些功能介绍给一些对此有很高期望的用户——尤其是国防情报部门。

当 Cassandra 的缔造者——Facebook——因为 HBase 强大的一致性特点而开始为其社交邮件产品放弃Cassandra 转向HBase 时,DataStax 则选择了相反的一条道路,结合Cassandra 和Hadoop。 Ben Werther——DataStax 产品副总裁对此说到

HBase 成熟度没有 Cassandra 那么高,而且它构建在 HDFS(Hadoop 分布式文件系统)之上,在可伸缩性和可靠性方面会面临一些挑战……Cassandra 可以为 Hadoop 堆栈低级别部分的所有功能提供服务,而与此同时在同一基础设施中又能提供低延迟实时应用的功能。此外,Cassandra 的设计初衷就是可以让部分 Brisk 基础设施关注于数据分析,而另一部分处理低延迟应用。当你往 Hive 里写查询语句或者使用 Hive 进行优化时,你可以把它作为一个实时基础设施,即插即用。

Brisk 包括了 Hadoop MapReduce 和 Hive,使你可以跨多个商用硬件集群做特大数量的计算工作。但为了兼容 Cassandra 提供的存储层,需要对 Hadoop HDFS 文件系统进行切换。同时,你还是可以使用 Cassandra 本有的功能:为实时应用设计的数据库。也就是说,Brisk 不会消除一些 Hadoop 中的单点失效。根据开发者文档,Hadoop/Casssandra 集群配置依然需要:

集群里应该提供一个服务器给如下 Hadoop 组件专用: - JobTracker

  • datanode
  • namenode

该专属服务器是必需的,这是因为 Hadoop 使用 HDFS 来存储你工作所需的 JAR 依赖项、静态数据以及其他必需的信息。在你集群的整个环境下,这些虽然都是很少量的数据,但是对运行 MapReduce 工作来说非常重要。

目前,Brisk 还有点在纸上谈兵。因为该平台还没有正式使用到生产系统中,甚至还没有开源。但无论如何,这都是吸引人眼球的构想。


查看英文原文: Brisk - Unified Big-Data Platform for Low-Latency Applications and Hadoop/Hive Analytics

2011-03-27 01:482956
用户头像

发布了 52 篇内容, 共 20.7 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

小智常见报表示例--层次坐标--组内占比报表

小智数据

自定义报表控件 小智开源报表 小智BI 报表打印 组内占比报表

小智常见报表示例--层次坐标--条件汇总报表

小智数据

自定义报表打印控件 报表批量打印 小智开源报表工具

解决多源异构数据整合难题"良策“,助企业高效管理数据资产

Aloudata

数据管理 Data Fabric 多源异构

详解 Apifox:批量添加接口请求 Body 参数的方法

Apifox

程序员 前端 后端 API body

安全与便捷并行,打造高效易用的用户支付体验

HarmonyOS SDK

HarmonyOS

MQTT & micro-ROS:构建高效的机器人应用

EMQ映云科技

物联网 机器人 mqtt emqx

软件测试简历书写、职业规划及面试的必备技能

测吧(北京)科技有限公司

测试

南京大学携手和鲸、智谱,签署“101 数智领航计划”,共启人工智能赋能教育新篇章

ModelWhale

人工智能 数据科学 校企合作 智谱AI

拼多多商品详情数据接口全解析:获取商品信息的高效途径

tbapi

拼多多 拼多多API接口 拼多多商品详情数据接口

小智常见报表示例--层次坐标--逐层平均值报表

小智数据

类excel报表 自定义报表控件 报表批量打印 小智开源报表

苏州企业如何通过IT外包实现降本增效?苏州IT外包案例分享

苏州服务器托管

IT外包公司 IT外包服务

AI 应用实战营 - 作业 五 - SD WebUI

德拉古蒂洛维奇

【论文速读】| TCSR-SQL:面向表内容感知的自检索文本到SQL方法

云起无垠

观测云:多云监控的高效解决方案

可观测技术

小智常见报表示例--层次坐标--循环引用报表

小智数据

报表批量打印 自定义打印控件 小智开源报表

快速明白高校采购云管平台4大必要性

行云管家

云计算 云服务 高校 云管平台

MobPush REST API的推送 API之创建推送

MobTech袤博科技

Java 开发者 产品动态

软件测试学习笔记丨Web浏览器控制

测试人

软件测试

观测云:数据驱动决策的智能分析平台

可观测技术

从基础到高级应用,详解用Python实现容器化和微服务架构

华为云开发者联盟

Python Docker 微服务 华为云开发者联盟 企业号2024年7月PK榜

快手开源LivePortrait,实现表情姿态极速迁移,GitHub 6.5K Star

快手技术

人工智能 #开源 可灵 企业号2024年7月PK榜

2024-07-17:用go语言,给定一个整数数组nums, 我们可以重复执行以下操作: 选择数组中的前两个元素并删除它们, 每次操作得到的分数是被删除元素的和。 在保持所有操作的分数相同的前提下,

福大大架构师每日一题

福大大架构师每日一题

小智常见报表示例--层次坐标--分组排名报表

小智数据

报表批量打印 自定义打印控件 报表打印 小智开源报表工具 分组排名报表

淘宝/天猫商品详情API接口与电商数据质量管理的结合应用

技术冰糖葫芦

API API 编排 API 文档 API 协议

软件测试学习笔记丨测试用例流程设计

测试人

软件测试

碳课堂|什么是碳标签?产品为什么要贴上“碳标签”?

AMT企源

数字化转型 双碳 碳管理 碳标签

Meme“吞噬”市场,VC项目失宠,加密市场下一步何去何从?

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

Brisk——针对低延迟应用与Hadoop/Hive分析的统一大数据平台_SOA_Boris Lublinsky_InfoQ精选文章