Hadoop 得到更好的安全性和数个运维方面的改进

阅读数:524 2014 年 5 月 8 日

话题:语言 & 开发

近期发布的Hadoop 2.4.0 具有数个针对 HDFS 和 YARN 的增强。其中包括对访问控制列表(Access Control List)的支持、对滚动升级的原生支持、为 HDFS 提供了完全的 HTTPS 支持、YARN 的自动故障切换和其他运维方面的改进。

这是 2014 年的第二次发布(第一次是在二月份发布的 2.3.0)。下列是关于这些增强的简要细节——

  • 访问控制列表增强HDFS 权限模型以支持用户和组任意组合下的文件访问。在此之前,你只能从 3 个已经给定的选项中进行选择,即一个单独的拥有者、一个单独的组和所有其他用户
  • 滚动升级使大批量Hadoop 安装的升级管理容易了很多
  • 为 HDFS 提供跨所有组件(WebHDFS、HsFTP 和 web 界面)的完全的 HTTPS 支持
  • YARN应用历史服务器——它运行在YARN 上,提供了一个用于记录应用历史的通用解决方案
  • 一款通用的应用时间轴服务器,它使运行于 YARN 的应用能够更好度量应用特定的指标,比如使用的容器或消耗的资源。
  • 针对 YARN 的自动故障切换——万一发生诸如硬件故障之类的运维问题,应用程序能够切换到一个冷备份资源管理器

该团队还分享了一些即将在下一个版本(2.5.0)中发布的特性——

  • 滚动升级的进一步改进
  • 为了增强控制和调度,针对 YARN 中服务器的特定管理标签
  • 使应用可以把资源委派给 YARN 中的其他应用,也可以共享 YARN 的负载管理能力。
  • YARN 分布式缓存中构件的自动共享

你可以下载这个最近的版本,也可以在发布说明中查看更多的详细信息。

查看英文原文Hadoop Gets Better Security, Several Operational Improvements


感谢崔康对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。