写点什么

微软 Arindam Chatterjee 访谈:Azure HDInsight 4.0

2018 年 10 月 25 日

Azure HDInsight 4.0 以 Apache Hadoop 3.1 为基础,其公开预览版最近在 Azure 上发布。其主要更新包括:

  • Apache Hive 3.0 LLAP(在 HDInsight 中称为交互式查询的低延迟分析处理),改进了快速查询和事务。
  • 具有可更新表的 Apache Spark 和使用 Hive Warehouse 连接器的 ACID 事务。
  • Apache HBase 2.0 及 Apache Phoenix 5.0 性能和稳定性特性。

Azure HDInsight 是一个基于 Apache Hadoop、Spark 和 Kafka 的服务提供服务,用于大数据处理和分析。它以 Apache Hadoop 3.1 和 hortonworks 数据平台(HDP)3.0 为基础,几乎所有的组件都进行了更新。

InfoQ 联系了微软首席主群经理 Arindam Chatterjee ,了解微软 Ignite 大会上发布的关于 HDInsight 的消息。

他介绍了托管服务相对于传统的基础设施即服务的优势、可以创建的不同类型的集群(Apache Hadoop、Spark、Kafka、Storm 等)以及如何根据实际需求定制。他讨论了基于活动目录集成的企业安全特性、数据迁移到集群的最新版本以及能够创建支持 Jupyter 和 Zepplin 笔记本的 Spark 集群。最后,他谈到了如何将社区工作整合到产品路线图中。

InfoQ:HDInsight 捆绑了 Hortonworks HDP 版本,是吗?除了“PaaS 与 IaaS”方法的典型优势之外,HDInsight 还提供了什么?

Chatterjee:Azure HDInsight 确实提供了来自 Hortonworks 的 HDP,然后对其进行了优化,使其能够在 Azure 中对 Azure 存储、Azure 数据湖存储(ADLS) Gen1 和 Gen2 等远程存储进行操作。HDInsight 是一个“托管平台”,对于内部部署或 IaaS 部署,客户可以获得他们期望的全部控制权和可扩展性,同时仍然可以从高可用性 SLA、24x7 监控以及与他们希望从 PaaS 服务获得其他 Azure 服务的深度集成中获益。

InfoQ:尽管 HDInsight 采用了更多的 PaaS 方法,但是定制每个安装容易吗?

Chatterjee:有几种方法可以定制 Azure HDInsight 集群。首先,HDInsight 允许客户通过 ssh 接入 HDI 集群,并根据他们的需求定制它,例如,通过安装自己的工具、微调配置设置等。其次,HDInsight 还允许客户在准备集群时运行自定义脚本(又名 ScriptAction),实现按需定制。

最后,客户可以在 Azure Marketplace 上选择 Hadoop/Spark 社区中最流行的 30 个应用程序中的任何一个,并将其安装到它们的集群中。这些应用程序针对大数据应用程序的所有方面都提供了独特的解决方案,包括数据摄取、机器学习、可视化、数据编排和治理等。

InfoQ: 从金融到医疗,在许多涉及大数据的垂直领域里,企业安全都是一个很大的需求。HDInsight 在这个领域提供了什么?

Chatterjee:Azure HDInsight 中的企业安全旨在提供全面的深度防御。

网络隔离:客户可以在 VNet(虚拟网络)中隔离他们的 HDInsight 集群,并配置 NSG 规则,以确保只有经过批准的用户 / 设备才能访问集群。此外,它们可以使用服务端点安全来限制对包含最敏感数据的数据存储的访问。

身份验证:与所有 Azure 服务一样,Azure HDInsight 集成了 Azure 活动目录(AAD),用于对所有的管理门户或功能访问进行身份验证。要访问实际的 HDI 集群,HDInsight 支持通过活动目录域服务(ADDS)进行 Kerberos 身份验证。这些特性使企业用户能够使用企业域凭证登录 HDI 集群。

授权:对于对所有的管理门户 / 操作,除了要严格执行标准的基于 Azure 角色的访问控制(RBAC)策略之外,Azure HDInsight 还支持 Apache Ranger,用于对 Hive/Hbase 表、Spark 和 Map Reduce 任务、Kafka 主题等进行细粒度访问控制。

数据保护:使用 Azure HDInsight,客户使用 Azure 存储或 ADLS Gen1 和 Gen2 存储数据。客户可以利用这些存储的静态加密特性来保护他们的数据。客户可以选择是管理自己的加密密钥(在 Azure 密钥库中),还是让微软代他们管理。

HDInsight 确保所有移动中的数据都使用 TLS 加密。

InfoQ:Spark 已经接管了大数据应用场景,这是否表明 Hadoop 已过时?您可以就 Azure Databricks 和 Azure 上的 HDInsight/Spark 做下对比吗?

Chatterjee:虽然与 Apache Hadoop(特别是关于查询性能)相比,Apache Spark 确实有其优势,但我们看到,为了更好地满足其用户日益增长的需求,Hadoop 和 Spark 栈都在进化。

Azure Databricks 是一款高级 Spark 产品,非常适合希望他们的数据科学家能够轻松协作、以行业领先的性能高效运行基于 Spark 的工作负载的客

Azure HDInsight 将 Hadoop 和 Spark 统一管理,使企业能够使用相同的工具集来管理它们,比如,使用 Ambari、Apache Ranger 等。通过支持 Jupyter 和 Zeppelin 笔记本,它还提供了行业标准的笔记本体验。希望轻松管理所有大数据工作负载的企业可以选择使用 HDInsight。

InfoQ:您能谈一下数据从以前的版本向 HDInsight 4.0 迁移并推荐一些最佳实践吗?

Chatterjee:我们刚刚发布了基于 Apache Hadoop 3.0 的 Azure HDInsight 4.0 预览版。我们正在与早期的采用者一起研究数据和代码从 HDInsight 的以前版本迁移的最佳实践。在此之前,我们鼓励客户查看开源社区提供的文档。

InfoQ:除了继续与 Hortonworks 合作之外,您能否提供一个 HDInsight 4.0 之后的路线图以及与 Hadoop、Spark 和其他社区合作的计划?

Chatterjee:微软将继续积极地参与到更广泛的开源社区中,向包括 Apache Yarn 在内的多个项目做贡献,并在最流行的开发工具(如 Eclipse、IntelliJ、VSCode 等)中提供创新性的开发和诊断功能。此外,我们将继续跟踪数据领域中出现的场景和创新(如流媒体、深度学习、实时 BI 等),目标是为客户提供最安全、最具成本效益的解决方案。

关于 HDInsgiht 最新版本的更多技术细节,请听 Microsoft Ignite 大会演讲的录音

查看英文原文: Q&A with Microsoft's Arindam Chatterjee about Azure HDInsight 4.0

2018 年 10 月 25 日 09:48564
用户头像

发布了 1008 篇内容, 共 314.5 次阅读, 收获喜欢 283 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

一口气搞懂「文件系统」,就靠这 20 张图了

小林coding

操作系统 计算机基础 文件管理 文件存储 文件系统

年近而立,Java何去何从?

华为云开发者社区

Java 程序员 编程语言 开源代码 Bugayenko Yegor

面试造火箭,看下这些大厂原题

前端有的玩

Java 前端 面试题

如何从红蓝墨水中分离出红墨水?回声消除算法介绍

拍乐云Pano

音视频 WebRTC 回声消除 3A算法 音频技术

推荐一个替代印象笔记,onenote的神奇笔记!

申屠鹏会

笔记

面试官:说下对cookie,session,Token的理解

Java小咖秀

Java Java 面试

Phalcon注解学习

半亩房顶

php phalcon

MySQL explain 中的 rows 究竟是如何计算的?

架构精进之路

MySQL

JavaScript中的正则表达式详解

华为云开发者社区

Java 正则表达式 程序员 字符串 语法

领域驱动设计(DDD)实践之路(二):事件驱动与CQRS

vivo互联网技术

DDD 架构设计 CQRS

Rust竟然没有异常处理?

袁承兴

rust 异常 java异常处理

troubleshoot之:分析OutOfMemoryError异常

程序那些事

Java JVM 异常 JIT

AI能写浙江高考满分作文了!在线满分作文生成器,一键圆你满分梦

程序员生活志

AI

应用研发平台特惠专场,助力企业加速数智化发展

应用研发平台EMAS

MySQL备份脚本,应该这么写

Simon

MySQL

一瓶可乐的自动售货机指令“旅程”

华为云开发者社区

物联网 嵌入式 华为云 数据传输 无线通信

合约一键跟单软件开发技术,跟单系统搭建app

WX13823153201

比特币 区块链

HashMap、LinkedHashMap 学习笔记

陈俊

网站改版神秘公式,教你躲避改版陷阱

北柯

创业 网站 网站搭建 网站改版

libuv 异步模型之设计概览

Huayra

libuv 异步模型

分苹果

书旅

算法 LeetCode

第10周总结+作业

林毋梦

敏捷软件工程实践书籍

Bob Jiang

敏捷 敏捷书籍 工程实践

二叉查找树-增删查和针对重复数据的 Java 实现

多选参数

数据结构 算法 二叉树 数据结构与算法

腾讯人均月薪7.5w,我这是又被平均了?

程序员生活志

腾讯 职场 薪资

分布式链路追踪Skywalking 存储模型设计

胡弦(关注公众号架构治理之道)

分布式 Skywalking 高性能 分布链路追踪

翻译: Effective Go (5)

申屠鹏会

golang 翻译

智“营”时代,众盟科技荣膺“2020毕马威中国领先消费科技TOP50企业榜单”

人称T客

实践总结:在 Java 中调用 Go 代码

jiacai2050

守护进程

书旅

php 进程 守护进程

PHP之闭包函数

书旅

面向对象 闭包 函数

2021年全国大学生计算机系统能力大赛操作系统设计赛 技术报告会

2021年全国大学生计算机系统能力大赛操作系统设计赛 技术报告会

微软Arindam Chatterjee访谈:Azure HDInsight 4.0-InfoQ