腾讯亿级用户规模自研业务的上云实践解读,立即报名 了解详情
写点什么

Apache Hadoop 1.0.0 支持 Kerberos 验证,支持 Apache HBase,提供针对 HDFS 的 RESTful API

  • 2012-01-16
  • 本文字数:1290 字

    阅读完需:约 4 分钟

经过六年时间的酝酿,开源分布式计算和 Big Data 框架 Apache Hadoop 终于发布 1.0.0 版本。本次发布的新特性包括:

  • 安全特性( Kerberos 协议下的强验证)
  • 改进对 Apache HBase 的支持(支持针对事务日志操作的 sync 和 flush)。允许在 hflush/sync 操作进行期间,对 HDFS 客户端发起新的写入 。
  • Webhdfs 为 Hadoop 分布式文件系统( HDFS )提供了一套 RESTful API。这项特性使 webhdfs 成为对 FileSystem 接口的完整实现,可通过 HTTP 对 HDFS 作完全的访问;而之前的 hftp 特性只实现了只读的 FileSystem 接口,不能执行“write”操作。
  • 改善 HBase 访问本地文件的性能。

此次新版还包括若干性能改善、错误修正等别的一些特性

InfoQ 找到 Arun Murthy——Apache Hadoop 项目的 VP,请他说明一下本次 1.0.0 版包含的特性,以及下一版本的规划。

InfoQ:Apache Hadoop 经过 6 年时间的开发才发布 1.0.0 版。为何第一次正式发布要花这么长时间?

Arun Murthy:Apache Hadoop 已经在若干大型企业投入实际应用,比如 Yahoo、Facebook 等等。“1.0.0”这个标签主要代表了 Apache Hadoop 社区对其成熟度的认可,代表社区有信心在可见的未来,在各式企业五花八门的应用场景下,维持与此版本的兼容。这次发布应该可以提升企业及最终用户对 Apache Hadoop 的信心,有利于 Apache Hadoop 的进一步推广。

InfoQ:本次发布在身份验证、访问控制和数据加密方面,支持什么样的安全特性?

Arun: 1.0.0 版的存储文件系统 HDFS 和数据处理方面的 MapReduce ,都支持强的、端到端的、基于 Kerberos 的身份验证。Kerberos 目前在企业中非常流行,是遥遥领先的网络认证协议。

1.0.0 版还在应用与数据的所有层面提供了强访问控制。例如可以限定只允许具体的单个或多个用户查看运行中的应用,查看应用日志等等。

InfoQ:可以谈谈新版在性能方面的改进吗?

Arun:有不少改进。代表性的例子比如我们为 Apache HBase 之类的应用优化了本地读取性能,取得非常显著的效果,特定用例的效率翻了一番。

InfoQ:Hadoop 下一版本规划了哪些新特性?可以列举一些吗?

Arun:Apache Hadoop 的下一个大版本目前正处于 alpha 阶段,预计在 2012 年中发布。主要的亮点有:

  • HDFS 文件系统的高可用性——解决文件系统的单点失败问题。
  • HDFS Federation 特性,扩大文件系统的命名空间至少 4 到 5 倍,可显著提高集群容量,包括集群中的节点数量和命名空间中的文件数量两方面的提高。
  • NextGen MapReduce(又名 YARN )可使 Hadoop 从只支持 MapReduce 应用,转变为在同一个 Hadoop 集群中同时支持多种通用的分布式计算组织构造,允许同时运用 MapReduce、Message Passing Interface(MPI)、迭代式编程等不同范式。这项特性还将允许 Hadoop 支持更大规模的集群(6000 - 10000 个节点),支持计算组织体(compute fabric)的高可用性。

Arun 还提及他们感觉 Apache Hadoop 下一版本在 High Availability 等众多企业级特性上有显著的改善,应该会让 Hadoop 在企业中找到更多的应用场景,特别是 NextGen MR(YARN)。

查看英文原文: Apache Hadoop 1.0.0 Supports Kerberos Authentication, Apache HBase and RESTful API to HDFS

2012-01-16 07:443001
用户头像

发布了 225 篇内容, 共 55.4 次阅读, 收获喜欢 43 次。

关注

评论

发布
暂无评论
发现更多内容

哪里可以查到网络安全等级测评与检测评估机构目录?

行云管家

网络安全 等保 等级测评

星巴克涨价引热议!中国现磨咖啡市场目前到底如何?

易观分析

星巴克涨价 中国咖啡市场

第十四节:SpringBoot使用JdbcTemplate访问操作数据库基本用法

入门小站

springboot

在线时序流程图制作工具

入门小站

晟盾科技加入龙蜥社区,共建开源新生态

OpenAnolis小助手

Linux 开源

Apache ShardingSphere 5.1.0 正式发布

SphereEx

数据库 开源社区 SphereEx Apache ShardingSphere

会声会影2022语音转文字功能怎么用

懒得勤快

《数字经济全景白皮书》数字冰雪篇 重磅发布

易观分析

数字经济 冬奥会

数据同步与缓存一致性问题

Mars

布隆过滤器 缓存一致性

网络安全kali渗透学习 web渗透入门 如何进行NESSUS漏洞检测

学神来啦

浪潮国资云:国资为引,助力国企上云用数赋智

浪潮云

云计算运维

虎符Hoo研究院:Cosmos是如何实现链与链的“港口”相连的?

区块链前沿News

Hoo 虎符交易所 虎符研究院 Cosmos

迁移学习综述与未来展望 | 社区征文

战场小包

人工智能 迁移学习 新春征文 2月月更

再见了,我的散装研发管理平台;再见了,4台ECS!

阿里云云效

阿里云 DevOps 云原生 研发 敏捷研发

会声会影2022重磅发布!会声会影2022全新功能详解

懒得勤快

会声会影2022美颜功能介绍 教你玩转视频美颜

懒得勤快

学生管理系统模块4作业

刘洋

#架构实战营 「架构实战营」

如何理解用户的行为?

石云升

产品经理 用户研究 用户模型 2月月更

系统学习 TypeScript(一)——认识 TypeScript

编程三昧

typescript

医疗保健行业如何从区块链中受益?

CECBC

英特尔2022年投资者大会:以软件解锁更大增长机遇

科技新消息

黑客马拉松(Hackathon)是什么?

Speedoooo

黑客马拉松 黑客松

记录一些Oracle操作命令

wong

oracle

2022年1月视频行业用户洞察:假期影响下活跃用户开始回升

易观分析

移动视频 视频app

【案例】正浩创新:多云多资产,实现敏捷云上运维

行云管家

云计算

Apache Hadoop 1.0.0支持Kerberos验证,支持Apache HBase,提供针对HDFS的RESTful API_DevOps_Srini Penchikala_InfoQ精选文章