【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Pivotal 开源其大数据处理的核心组件

  • 2015-02-28
  • 本文字数:1470 字

    阅读完需:约 5 分钟

近日, Pivotal 宣布将其大数据套件的三个核心组件开源,即基于内存的分布式NoSQL 数据库 GemFire 、基于 Hadoop 架构的大规模并行 SQL 分析处理引擎 HAWQ 、大规模并行处理分析数据库 Greenplum 。同时,商业版本仍将继续提供更高级功能和商业支持服务。Pivotal 开源这三个核心组件最主要原因是受其成功的 Cloud Foundry 开源案例所启发。Cloud Foundry 是 VMware 于 2011 年 4 月 12 日推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台以及应用服务。同时,Pivotal 还宣布其将加入开放数据平台(Open Data Platform),这是一个目前已有 14 个公司组成的组织,包括 Hortonworks 通用电器GE 、IBM、威瑞森(Verizon)等,该组织主要提供Hadoop 的企业版。

Pivotal 的大数据套件主要包括 Pivotal 的企业级 Hadoop 发行版 Pivotal HD 、Greenplum、HAWQ、GemFire、开源分布式框架 Spring XD 、K/V 数据库 Redis 、消息队列 RabbitMQ Cloud Foundry 上的大数据套件。其中 Greenplum 和 GemFire 主要用来处理结构化数据,其他产品都是用来处理非结构化数据。通过 HAWQ 能够将 Greenplum 与 Hadoop 分布式架构进行紧密地融合。整个套件将从大规模并行处理、内存计算以及 Hadoop 批处理三方面满足企业对大数据的需求。Pivotal 的大数据套件的客户包括国内的中信银行中国铁路总公司以及国外的美国金融服务公司 Zions Bancorporation 印度尼西亚电信运营商巴克莱电信(Bakrie Telecom)印度国有铁路公司(Indian Railways
美国西南航空公司(Southwest Airlines)
Pivotal 大数据套件架构如下图所示:

从 Pivotal 的官网得知,GemFire 的重要特征包括支持基于内存的数据网格、支持 ACID 事务、高性能、低延迟、高可用性、高扩展性、能够使用多种语言实现数据管理、强大的数据应用功能、易于管理的分布式数据网格管理等。GemFire 可用于企业级的数据缓存、弹性的内存计算、大规模的实时交易应用、弹性流数据处理等。作为世界规模最大的实时交易系统之一的中国铁路客户服务中心网站(12306.cn),于 2012 年 6 月选择 GemFire 分布式内存计算平台进行了改造,以解决尖峰高流量并发问题。

HAWQ 支持事务处理,它能够将复杂的查询分割成简单的任何大小的处理单元,并分发到并行处理系统中。HAWQ 具有高性能的架构、完全支持 SQL 标准、具有深度分析和机器学习能力、支持本地 Hadoop 文件格式等重要特征。

开源中国上发布的一篇题为《 Greenplum 高性能数据引擎探秘》的文章对 Greenplum 进行了详细介绍。文章指出 Greenplum 数据库是为新一代数据仓库和大规模分析处理而建立的软件解决方案,其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上,尤其海量数据的处理方面,Greenplum 的性能极其优异。Greenplum 的重要特征包括大规模并行处理的架构、超强的并行计算能力、高效的数据载入、具有灵活地存储和分析能力、高效的分析平台、能够无缝集成已有的分析功能栈、最佳的数据管理框架等。

Pivotal 是由 GE、 EMC 和 VMware 联合组成的专注开源 PaaS 和大数据应用 Cloud Foundry、Greenplum 等业务的合资公司。Pivotal 原来一直资助着 Groovy/Grails 项目和主导这些项目的开发,不过今年 1 月份,Pivotal 官方宣布将不再资助Groovy/Grails 项目,并重新把精力集中在Cloud Foundry 上。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2015-02-28 08:194606
用户头像

发布了 46 篇内容, 共 51.2 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

元宇宙100讲-0x003

hackstoic

元宇宙

专题:基于云的技术架构设计实践

hackstoic

DevOps 云原生 技术架构 内容合集 签约计划第二季

初识 AspectJ ~

阿策小和尚

28天写作 Android 小菜鸟 12月日更

给弟弟的信第11封|Java学习路线

大菠萝

28天写作

4个优化方法,让你能了解join计算过程更透彻

华为云开发者联盟

数据 高性能 哈希表 join 标识对齐

Linux系统学习攻略《Linux一学就会》:Linux系统启动原理及故障排除

侠盗安全

Linux linux运维 运维工程师 云计算架构师 linux电子书

电商系统微服务拆分及架构设计

stars

架构训练营 电商微服务分析

云图说|DRS数据对比——带您随时观测数据一致性

华为云开发者联盟

数据库 华为云 DRS 数据迁移

详细解读MySQL中的B+Tree 落地形式

秋水

MySQL优化 内容合集 签约计划第二季 B+tree

lancet: 一个全面、高效、可复用的go语言工具函数库

柳叶刀

Go web go modules

面试官:说说你对react生命周期的理解

全栈潇晨

React

Flutter 将整个App变为灰色(勿忘国殇 警钟长鸣)【Flutter专题21】

坚果

flutter 28天写作 12月日更

为什么一半的人员能够完成超过去年的事情?(13/28)

赵新龙

28天写作

模块六课后作业-拆分电商系统为微服务

断水风春

架构实战营

关于人脸识别的一个应用案例

为自己带盐

人脸识别 28天写作 百度智能云 12月日更

文件写入的6种方法,你知道几种

编程江湖

JAVA开发

对话中移上研院,分享DevOps及运维观点

龙智—DevSecOps解决方案

DevOps 运维 中移上研院

什么是 Java Marker Interface(标记接口)

Jerry Wang

Java jdk volatile 28天写作 12月日更

CSDN热榜、华为云博客都可用来练习Python scrapy 爬虫

梦想橡皮擦

12月日更

Vue3进阶(贰):Vue3 新特性

No Silver Bullet

Vue3 12月日更

MySQL设置数据库为只读

Simon

MySQL

【LeetCode】统计「优美子数组」Java题解

Albert

算法 LeetCode 12月日更

如何优雅地在Vue页面中引入图片

编程江湖

前端开发

Redis(二):内存模型及回收算法

IT巅峰技术

Java redis 架构师 分布式缓存 redis分布式

大数据基石之Hadoop的读写流程与2.X架构

编程江湖

大数据 hadoop

java开发之Java ORM 框架推荐

@零度

Java Java ORM ​ObjectiveSQL

架构实战 - 毕业总结

咖啡

react源码解析7.Fiber架构

buchila11

React

react源码解析8.render阶段

buchila11

React

现代配置指南——YAML 比 JSON 高级在哪?

杨成功

json 大前端 架构师 yaml 签约计划第二季

vivo浏览器的快速开发平台实践-总览篇

vivo互联网技术

敏捷开发 浏览器 开发平台

Pivotal开源其大数据处理的核心组件_大数据_李小兵_InfoQ精选文章