Tachyon:一个高性能、高容错、基于内存的开源分布式存储系统

阅读数:6507 2015 年 3 月 26 日

话题:性能调优语言 & 开发架构

从 Tachyon 的官网得知,Tachyon 是一个高性能、高容错、基于内存的开源分布式存储系统,并具有类 Java 的文件 API、插件式的底层文件系统、兼容 Hadoop MapReduce 和Apache Spark等特征。Tachyon 能够为集群框架(如 Spark、MapReduce 等)提供内存级速度的跨集群文件共享服务。Tachyon 充分使用内存和文件对象之间的世代(Lineage)信息,因此速度很快,官方号称最高比 HDFS 吞吐量高 300 倍。目前,很多公司(如 Pivotal、EMC、红帽等)已经在使用 Tachyon,并且来自 20 个组织或公司(如雅虎、英特、红帽等)的 60 多个贡献者都在为其贡献代码。Tachyon 是于UC Berkeley数据分析栈 (BDAS) 的存储层,它还是 Fedroa 操作系统自带应用

Tachyon 具有的重要特征如下:

  • 类 Java 的文件 API: Tachyon 的原生 API 同 Java 的文件类非常相似,并提供了 InputStream 和 OutputStream 接口,还支持内存映射 IO;
  • 兼容 MapReduce 和 Spark:Tachyon 实现了 Hadoop 的 FileSystem 接口,因此,MapReduce 和 Spark 无需做任何修改就可以使用 Tachyon;
  • 插件式的底层文件系统:Tachyon 基于 Hadoop 并从底层重建了 Hadoop 平台。Tachyon 具有一个通用、方便于接入不同底层文件系统的接口。目前支持的文件系统包括 HDFS、S3、GlusterFS、单节点本地文件系统等,对其他文件系统的支持将很快实现。
  • 支持本地原始表:Tachyon 提供了对多列数据的本地支持,且提供了选择项,以决定是否将 Hot 列放入内存以节省空间;
  • 浏览文件系统的 Web 界面:用户能够通过 Web 界面浏览文件系统,尤其在 Debug 模式下,管理员还能够查看每个文件的详细信息,如文件位置、检查点(Checkpoint)路径等;
  • 支持命令行交互: 用户能够使用命令“./bin/tachyon tfs”同 Tachyon 进行交互,如往文件系统中复制数据以及从文件系统往外复制数据;
  • 高容错性:Tachyon 具有良好的容错机制,Master 和 Worker 都有自己的容错方式。Master 使用ZooKeeper进行容错,Master 中保存的元数据使用 Journal 进行容错,Master 还对各个 Worker 的状态进行监控,发现 Worker 失效时会自动重启对应的 Worker。对于具体的文件数据,Tachyon 使用世代关系进行容错。

Tachyon 采用了 Master-Worker 模式,运行中的 Tachyon 系统由一个 Master 和多个 Worker 构成。Tachyon Master 管理全部文件的元数据信息,同时也负责监控各个 Tachyon Worker 的状态。为了高效地对文件进行管理,Tachyon 文件在内存中按块组织。文件和块信息保存在 Master 端,每个 Worker 以块为单位进行存储和管理。Tachyon 的架构如下图所示:

Tachyon 诞生于UC Berkeley 的 AMPLab,由该实验室的计算机在读博士李浩源初创,并基于Apache License 2.0开源协议发布,代码托管在GitHub,其当前最新版本为0.6.1。去年 10 份,李浩源在接受InfoQ 采访时曾表示:

长期来讲,他们对待 Tachyon 会像对待 Apache Mesos 和 Apache Spark 一样,Tachyon 也会进入 Apache 软件基金会,这里欢迎更多的开发者加入。

近日,从华尔街日报消息得知,Tachyon 获得了硅谷风投A16Z的 750 万美元 A 轮投资。AMPLab 的项目还包括与 Hadoop 相似、启用了内存分布数据集的开源集群计算环境Spark、类似于基于键 / 值存储的 SQL 查询语言PIQL、基于分布式系统的机器学习系统MLBase、多核和大型 SMP 系统的操作系统Akaros、低延迟计算集群调度系统Sparrow等。此外,Tachyon 官网还提供了相关文档,如用户文档开发者文档等。更多关于 Tachyon 的信息,读者可以登录其官网或其 GitHub 提供的Wiki 页面查看。


感谢徐川对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。