写点什么

Spark 生态顶级项目汇总

  • 2016-03-06
  • 本文字数:1203 字

    阅读完需:约 4 分钟

现在 Apache Spark 已形成一个丰富的生态系统,包括官方的和第三方开发的组件或工具。后面主要给出 5 个使用广泛的第三方项目。

Spark 官方构建了一个非常紧凑的生态系统组件,提供各种处理能力。 下面是 Spark 官方给出的生态系统组件(引自 Spark 官方文档)。

  1. Spark DataFrames:列式存储的分布式数据组织,类似于关系型数据表。
  2. Spark SQL:可以执行 SQL 查询,包括基本的 SQL 语法和 HiveQL 语法。读取的数据源包括 Hive 表、Parquent 文件、JSON 数据、关系数据库(MySQL 等)等。
  3. Spark Streaming:Spark Streaming 是 Spark 核心 API,易扩展、高吞吐量、流式数据容错。
  4. MLlib:Spark 的机器学习库,由常规的机器学习算法和基础构成,包括但不限于分类算法、回归算法、聚类算法、协调过滤算法、降维算法等。
  5. GraphX:Spark GraphX 是一个分布式图处理框架,基于 Spark 平台提供对图计算和图挖掘的接口,方便用户对分布式图处理的需求。
  6. Spark Core API:Spark 提供多种语言的 API,包括 R、SQL、Python、Scala 和 Java。

除了上述官方的 Spark 组件外,还有些是在某种情形下必用的项目。以下只是简单的列出这些重量级 项目,而不涉及一些性能指标。

  1. Mesos
    Mesos 是开源的资源统一管理和调度平台。抽象物理机的 CPU、内存、存储和计算资源,再由框架自身的调度器决定资源的使用者。
    Mesos 是 Master/Slave 结构,由 Mesos-master,Mesos-slave,Framework 和 executor 四个组件构成。
    为什么官方选用 Mesos,而不是 Spark standalone 模式或者基于 Yarn 框架?由 Spark 开发者所写的书《Learning Spark》:Mesos 优于其它两个资源框架是因为 Mesos 的细粒度调度,这样可让多用户运行 Spark shell 占有更少的 CPU。
  2. Spark Cassandra Connector
    Cassandra 是一个易扩展、高性能的数据库。 Spark Cassandra Connector 现在是 Spark 和 Cassandra 表间直接交互的连接器,高度活跃的开源软件。 Spark Cassandra Connector 库让你读 Cassandra 表就如同 Spark RDD 一样,同样可以写 Spark RDD 到 Cassandra 表,并可以在 Spark 程序中执行 CQL 语句。
  3. Zepellin
    Zepellin 是一个集成 IPythoon notebook 风格的 Spark 应用。Zepellin 可以基于 Spark 和 Scala,允许用户很简单直接的在他们的博客或者网站发布代码执行的结果。
    Zepellin 也支持其它语言插件,包括 Scala 和 Spark,Python 和 Spark,SparkSQL,HIve,Markdown 和 Shell。
  4. Spark Job Server
    Spark Job Server 提供 RESTful 接口来提交和管理 Spark jobs,jar 包和 job 上下文。Spark Job Server 提供 Spark 任务相关的运行健康信息。
  5. Alluxio
    Alluxio 是一个分布式内存文件系统,它在减轻 Spark 内存压力的同时,也赋予 Spark 内存快速读写海量数据的能力。Alluxio 以前叫做 Tachyon,即钨丝。Spark jobs 可以不做任何改变即可运行在 Alluxio 上,并能得到极大的性能优化。Alluxio 宣称:“百度使用 Alluxio 可以提高 30 倍多数据处理能力”。
2016-03-06 19:247107
用户头像

发布了 43 篇内容, 共 30.3 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

音你不凡!MIAOYUN2024团建拓展热情无限

MIAOYUN

企业文化 云原生 团队协作 团队氛围 团建

抖音电商数据接口全解析:如何高效获取商品信息

tbapi

抖音 抖音商品详情数据接口 抖音数据采集

超越Devin!姚班带队,他们创大模型编程新世界纪录

Openlab_cosmoplat

人工智能 智能 ChatGPT

Apache IoTDB 分布式架构三部曲(二)分片与负载均衡

Apache IoTDB

多云世界中的 API 治理

幂简集成

API 多云 API治理

望繁信科技「流程资产」的全面定义正式公开!含金量巨大,赶紧下载!

望繁信科技

流程挖掘 流程资产 流程智能 流程资产白皮书 流程资产报告

软件测试学习笔记丨Flask操作数据库-对象与数据模型

测试人

软件测试

企业AI应用行动指南2024

易观分析

数据库与低代码开发:技术革新与应用实践

不在线第一只蜗牛

数据挖掘 数据库 低代码

Spring Security 注册过滤器注意事项

江南一点雨

Java spring spring security

天谋科技参与编写墨天轮《2023 年中国数据库行业年度分析报告》

Apache IoTDB

近期京东开发者最受欢迎的 10 篇文章,内附大量热门岗位招聘

京东科技开发者

客户案例 I 某大型集团以流程挖掘助力财务共享场景集约化变革

望繁信科技

数字化转型 客户案例 流程挖掘 流程资产 流程智能

专访顺丰科技产品专家:物流能力乐高化

新消费日报

2024ERP系统厂商大盘点!

优秀

ERP ERP系统

度安讲 | 第二期「安全左移·业务护航」技术沙龙成功举办

百度安全

官宣!望繁信科技签约晶科能源,助力光伏行业数字化转型

望繁信科技

数字化转型 流程挖掘 流程资产

Shopify 独立站监控观测最佳实践

观测云

前端 可观测性

Spark生态顶级项目汇总_DevOps & 平台工程_侠天_InfoQ精选文章