Graph + AI 中国峰会火热报名中,点击探索图分析更多可能! 了解详情
写点什么

专访 Saumitra Buragohain : Hortonworks 数据平台 3.0

2018 年 7 月 23 日

最近,基于 Hadoop 3.1 的 Hortonworks 数据平台(HDP)3.0正式发布了,它包含容器化、支持GPU、纠删码和Namenode Federation。企业功能包括利用HDP 3.0 默认安装的Apache Ranger 和Apache Atlas 的可信数据湖。该版本还去掉了一些组件,如:Apache Falcon、Apache Mahout、Apache Flume 和Apache Hue,同时Apache Slider 功能已经融入了Apache YARN。

InfoQ 就 Hadoop 的总体情况,特别是 HDP 3.0 采访了 Hortonworks 的产品管理高级总监 Saumitra Buragohain。

InfoQ:鉴于 Spark、Kafka 和其他大数据平台的成功,Hadoop 是否已经过时了?总体上Hadoop特别是 HDP 3.0企业仍有怎样的 **** 相关性,为什么开发人员要关注它们?

Buragohain:Hadoop 已经不再是 10 年前主要是跟存储层(Apache HDFS)和工作负载(MapReduce)有关的 Hadoop 了。我们现在处在工业 4.0 革命的前沿,Hadoop 大数据栈已经发展到包含实时数据库(由 Apache Hive 3.0 提供支持)、机器学习和深度学习平台(Apache Spark 和 Apache TensorFlow)、流处理(Apache Kafka 和 Apache Storm)、运营数据存储(Apache Phoenix 和 Apache HBase)。请继续关注我们的 HDP 3.0 博客系列!HDP 3.0 能够自有部署(on-prem),也可以部署于所有主要的云供应商(亚马逊、Azure 和谷歌云)。

InfoQ:HDP 3.0 的实时数据库是否旨在为交互式查询提供类似 Spark 的功能?您能否详细谈谈实现,提供一些技术细节?它如何能够帮助那些不需要大量编程的数据科学家?

Buragohain:实时数据库由 Apache Hive 3.0 和 Apache Druid 提供支持,并允许单个 SQL 层用于批处理和历史数据集。Druid 允许创建 OLAP cubing,以便我们能够实时查询大型数据集。在 HDP 3.0 中特别要强调的 Apache Hive 特性包括:

用于 LLAP 的工作负载管理:您现在能够在多租户环境中运行 LLAP 而无需担心资源竞争。

ACID v2 和 ACID 默认打开:我们正在发布 ACID v2。随着存储类型和执行引擎上性能的改进,与非 ACID 表相比,我们看到了相同或更好的性能。因此,我们默认启用 ACID 并且为数据更新提供完全的支持。

用于 Spark 的 Hive 仓库连接器:Hive 仓库连接器允许您把 Spark 应用和 Hive 数据仓库连接在一起。连接器自动处理 ACID 表。

物化视图导航:Hive 的查询引擎现在支持物化视图。该查询将在物化视图可用时自动使用它们以加速查询。

信息架构:Hive 现在直接通过 Hive SQL 接口公开数据库的元数据(表、列等等)。

JDBC 存储连接器:您现在能够映射任何 JDBC。

HDP 3.0 中特别值得留意的 Druid 功能包括:

Kafka – Druid 摄入:您现在能够将 Kafka 主题映射到 Druid 表中。事件将被自动摄入并可用于近乎实时的查询。

InfoQ:到处都是容器。请谈谈在 HDP 3.0 中如何利用容器?

Buragohain:YARN 一直在内存和 CPU 粒度上支持本机容器。我们正在扩展该模型以支持 Docker 容器,并在内存和 CPU 之上添加了 GPU 支持。这意味着,现在我能够把我的应用程序(如 Spark)和诸如 Python(无论是版本 2.7 还是版本 3.0)及不同的 Python 库这样的依赖项打包在一起,并在与其他租户共享的 HDP 3.0 集群中隔离运行。这意味着,我也能够利用 GPU 池特性,在 YARN 上运行 Docker 化 TensorFlow 1.8 。这也意味着,我能够解除和转移第三方工作负载,并在 HDP 3.0 上运行它们。因此,这就是 HDP 3.0 的强大功能,我们已经从 10 年前的 Hadoop 1.0 发展到现在。

InfoQ:深度学习是另一种趋势科技,并且看起来,在 HDP 3.0 和机器学习之间的协同作用增加了。您能否谈谈 HDP 和深度学习的使用?

Buragohain:当然可以。多年来,我们一直将 Spark 作为 HDP 栈的核心组件,这是 HDP 在客户安装基础上最大的工作负载之一。现在,我们正在扩展到深度学习框架,支持诸如 GPU 池 / 隔离这样的功能,从而让昂贵的 GPU 可以成为多个数据科学家共享的资源。正如上面所提到的,我们也支持容器化工作负载,因此,我能够利用 YARN GPU 池和存储在 HDP 3.0 数据存储层(或云存储中,如果 HDP 3.0 部署在云中)的训练数据,运行容器化 TensorFlow 1.8 来训练深度学习模型。您还能够观看我们的主题演示,那是在 DataWorks 峰会上,我们用 HDP 3.0 技术训练了一辆自动驾驶汽车(1:10 的比例)。

InfoQ:纠删码是 Hadoop 3.0 的一部分。您能否谈谈它是如何实现的?HDP 3.0 是否有其他调整?

Buragohain:纠删码本质上是跨节点的 RAID。就像在企业存储行业中,供应商和客户已经采用了 RAID6 来支持 RAID10(镜像),我们正在对 Hadoop 数据存储(Apache HDFS)进行类似的转变。我们把数据分成 6 个分片,并创建了 3 个奇偶校验分片,而不是为同样的数据创建 2 个相同的备份。这 9 个分片现在存储在 9 个节点中。因此,如果有 3 个节点宕机,我们将有 6 个分片(数据或奇偶校验),并且能够构建该数据。因此,这就是我们如何提供与 3 副本方法相同的故障恢复能力,同时将存储足迹减少一半。

我们默认使用副本方法。客户将需要配置一个目录以让纠删码编码,我们可以选择多个纠删码 Reed Solomon 编码:RS(6,3);RS(10,4);RS(3,2)。然后,任何进入该目录的数据是经过纠删码编码的。我们最初支持对冷数据的纠删码编码,但是,我们正在提供可选的英特尔存储加速库作为 HDP 3.0 实用程序的一部分以实现可选的硬件加速。

InfoQ:除了 Hadoop 3.0 提供的特性 **** 之外,HDP 3.0 增加了什么?HDP 3.0 及更高版本的路线图是什么?

Buragohain:请继续关注我们的博客。HDP 3.0 最近正式发布了,我们的发布说明详细描述了这些特性(跨实时数据库、流处理、机器学习和深度学习平台等等)。最后,我们在工具箱里提供了所有的工具,以便客户选取(可以与单个工作负载供应商比较一下)。我们正在对 HDP 进行长期投资,在 2019 年,我们将有更多令人兴奋的更新!

HDP 3.0 的发布说明可以从 HDP 3.0发布说明页面下载。

查看英文原文: Q&A with Saumitra Buragohain on Hortonworks Data Platform 3.0

感谢冬雨对本文的审校。

2018 年 7 月 23 日 08:08653
用户头像

发布了 199 篇内容, 共 69.1 次阅读, 收获喜欢 281 次。

关注

评论

发布
暂无评论
发现更多内容

女神营业!云通信产品运营带你玩转号码隐私保护:网约车、外卖等O2O行业的最佳实践

阿里云Edge Plus

云通信 通信云

职场求生攻略答疑篇之 5 —— 我,程序员,非常焦虑

臧萌

职场 成长

Apache Ranger的部署安装

大数据技术指南

大数据 3月日更

助力金三银四!一线大厂379道面试真题(Java岗)收录成册,开源分享!

程序员小毕

Java 程序员 架构 面试 分布式

雪花算法,到底是个啥?

架构精进之路

算法 七日更 3月日更

拼多多五面面经(Java岗),全面涵盖Java基础到高并发级别

Java架构之路

Java 程序员 架构 面试 编程语言

搞定计算机网络的常见面试问题

容器 & 服务:K8s 与 Docker 应用集群 (四)

程序员架构进阶

Docker Kubernetes 容器技术 28天写作 3月日更

几千次的重复提交,我用 SpringBoot+Redis 居然扛住了!

Java小咖秀

redis 后端 springboot 幂等

LeetCode题解:518. 零钱兑换 II,动态规划,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

更新60篇的复盘:持续书写,见证文字的力量

boshi

写作 七日更

优雅编程 | javascript代码优化的15个小知识

devpoint

ES6 JS代码优化 JS迭代

芯翌科技领跑NIST-FRVT戴口罩人脸识别评测,助力后疫情时代科技创新

朋湖网

话说cas

木子的昼夜

2021金三银四必备:“基础-中级-高级”Java程序员面试复习路线

比伯

Java 编程 程序员 架构 面试

one day

旭陽

redis工作原理(上)

Sakura

28天写作 28天挑战 3月日更 21天挑战

SRS流媒体服务器源码分析--RTMP消息play

赖猫

音视频 流媒体 SRS 流媒体开发

Go语言学习笔记:抓取XKCD中文站的漫画

worry

Go

如何用python优雅的写论文

张鹤羽粑粑

28天写作 3月日更

vm

梅花鹿鹿

28天写作 28天挑战 3月日更

新人报道

shun123456789

翻译:《实用的Python编程》04_02_Inheritance

codists

Python 继承 inheritance

Wireshark数据包分析学习笔记Day5

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

准备参加软考的小伙伴注意了!

IT蜗壳-Tango

IT蜗壳 3月日更

冰河公开了进大厂的核心技能,服了!

冰河

程序员 面试 大厂技能 硬核技能图谱

接口测试--apipost接口断言详解

测试人生路

接口

什么是职业

ES_her0

28天写作 3月日更

程序员成长第二十三篇:员工不符合预期,怎么办?

石云升

程序员 28天写作 职场经验 管理经验 3月日更

线上MySQL读写分离,出现写完读不到问题如何解决

程序员历小冰

MySQL 读写分离

面试被吊打系列 - Redis原理

云流

数据库 架构 面试

专访Saumitra Buragohain : Hortonworks数据平台3.0-InfoQ