写点什么

历时一年半,Apache Kyuubi 正式毕业,成为 ASF 顶级项目

  • 2022-12-29
    北京
  • 本文字数:1691 字

    阅读完需:约 6 分钟

历时一年半,Apache Kyuubi正式毕业,成为 ASF 顶级项目

Apache Kyuubi 正式毕业

 

2022 年 12 月 22 日,Apache 软件基金会(ASF)官方宣布 Apache Kyuubi 正式毕业,成为顶级项目(TLP)。

 

Apache Kyuubi 是一个分布式和多租户网关,用于在数据仓库和湖仓上提供无服务器 SQL。项目最初由网易数帆开发并于 2018 年开源,2021 年 6 月捐赠 Apache 基金会,经过 1 年多的孵化于 2022 年 11 月通过投票,在 12 月顺利毕业,成为 Apache 基金会顶级开源项目。

 

据介绍,Apache Kyuubi 在孵化过程中,社区迎来了一百多个贡献,有数千个提交,总计成功发布了九个版本。来自不同公司和国家的开发者和其他类型的贡献者在社区中度过了一段快乐的旅程。

 

Kyuubi 目前已被全球数百家企业采用,涉及多个行业,如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和 ACG,等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。

 

网易副总裁、网易杭州研究院执行院长汪源表示:“Kyuubi 是一个广泛使用的 SQL 门户,其无服务器设计,支持常见的 SQL 驱动,大大提升了大数据技术的使用便利性。作为客户端和底层技术之间的门户和网关,Kyuubi 也有很大的想象空间进行功能扩展,如 SQL 审计、检查、基于查询历史的优化等等。这是一个具有巨大潜力的项目。”

 

Apache Kyuubi VP 姚琴表示:“看到社区成长并从孵化器毕业,这意味着我们已经成功地采用了 ‘Apache Way’并能够自我管理,这很有趣也很令人兴奋。作为一个 Apache 顶级项目,Kyuubi 是由全球各地的人们和组织开发和使用的。Kyuubi 帮助他们实现数据民主化,使具有任何技能水平的人都能舒适地处理数据,而不管他们的技术知识如何。”

“九尾狐”Kyuubi

 

Kyuubi 的命名源自中国神话《山海经》,意为“九尾狐”。狐会喷火,象征 Spark;狐有九尾,类比多租户。这个命名也体现出了 Kyuubi 系统设计之初的主要目的——在 Spark 上实现多租户。

 

事实上,在 Kyuubi 之前,市面上已存在具备类似能力的产品,比如 Spark ThriftServer(简称 STS)。这是 Spark 社区现有的、基于 HiveServer2 实现的 Thrift 服务,旨在无缝兼容 HiveServer2。

 

虽然 STS 的性能极佳,但当前并不完善,尤其在企业场景下存在较多短板。比如,单 Spark 应用实现的 STS 并不能完整支持多租户,因为 STS 本质上是一个 Spark Application,整个 Application 只有全局唯一的用户名,并同时包括 Driver 端和 Executor 端。而对于像网易这样有多条产品线的互联网公司来说,每条产品线的数据在一定程度上是隔离的。因此,只有支持多租户才能满足公司对于数据安全、资源隔离、高可用以及高并发的要求。

 

这也就促使网易内部开发了 Kyuubi。Kyuubi 在统一接口基础上,拓展了 STS 在多租户模式下的使用场景,并依托多租户概念获得了完善的资源隔离共享能力和数据安全隔离的能力。

 

Apache Kyuubi 在各种现代计算框架之上建立了分布式 SQL 查询引擎,例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和 Trino 等,以查询分布在异质数据源的机器群上的大规模数据集。

 

统一网关:通过一个入口点实现对任何集群资源的简化、安全访问,为终端用户部署不同的工作负载

 

  • 应用编程接口:支持各种 API,包括 Apache Thrift™、JDBC、ODBC、REST 等,便于访问。

  • 多租户:支持端到端的多租户,这对集群的安全性和并发性都有利。

  • 高可用性:确保其在指定时间内连续无障碍运行,以满足商定的运行性能水平。

 

无服务器 SQL 及更多:使最终用户更容易从数据宇宙中获得洞察力,并优化数据管道,无论他们的技术知识如何。它能够使用熟悉的 SQL 为各种工作负载提供与 RDBMS 相同的用户体验,在不同的数据源上提供广泛和安全的数据访问能力,并通过可扩展的计算资源为大量数据提供高性能。

 

  • 易用性:终端用户可以有一个优化的体验,以无服务器的方式探索他们的数据宇宙。相应的引擎,如 Spark 和 Flink 的 "超能力 "不再是必要的。

  • 在任何地方以任何规模运行:所有的预编程引擎都有分布式后端,可以在单节点机器上或跨集群安排任务。

  • 高性能:最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。


2022-12-29 14:405334

评论

发布
暂无评论
发现更多内容

《迅雷链精品课》第五课:账户与账本

迅雷链

区块链

粉丝求助:JAVA程序员,4年了,很迷茫,希望前辈可以给指出一个技术路线和需掌握的知识技能树;

Java架构师迁哥

强化学习入门必看之强化学习导识

Alocasia

人工智能 学习

亚马逊全球百万钜惠引爆“黑五” 跨境狂欢“巅峰6日”震撼登场

爱极客侠

一致性hash算法

天涯若海

Istio 1.8 发布——用户至上的选择

Jimmy Song

开源 云原生 Service Mesh istio

UNISKIN COO Kevin|营销数字化:数据沉淀和数据系统化运营一定要趁早!

Linkflow

营销数字化 客户数据平台 CDP

深入浅出 Go - sync.Once 源码分析

helbing

Go 语言

深入理解h2和r2dbc-h2

程序那些事

响应式编程 R2DBC 程序那些事 响应式架构 r2dbc-h2

公众号高频被调整,它不是企业生产文章的机器

Linkflow

客户数据平台 CDP 私域流量

架构师Week5总结

lggl

总结

LAXCUS大数据集群操作系统挖矿

陈泽云

大数据 分布式计算 挖矿

力扣(Leetcode)练习--给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序

Wynne

阿里作为内部参考的Redis文档现在开放下载,姐夫半夜不睡都在看

小Q

Java redis 学习 编程 面试

MySQL主从数据库没有同步怎么办?

冰河

MySQL 数据库 分布式 微服务

【云图说】第189期 初识数据仓库服务

华为云开发者联盟

数据库 数据仓库 数据

苹果首发ARM架构电脑芯片,将对PC格局带来哪些影响?

脑极体

KubeVela 正式开源:一个高可扩展的云原生应用平台与核心引擎

阿里巴巴云原生

阿里云 开源 Kubernetes 云原生 OAM

涛涌天际,水利万物:黄浦江畔读懂城市智能体

脑极体

如何在 vuePress中添加博客导流公众号-即输入验证码解锁全站文章

itclanCoder

vuepress 解锁文章 博客引流 建站

JVM入门,认识Class文件

Simon郎

JVM Java 分布式

架构师Week5作业

lggl

作业

京东开发4年,想要跳槽去拼多多,落泪四4面,这年头跳槽可真难啊(还好不是裸辞)

Java~~~

架构 面试 编程语言 java架构师

甲方日常 54

句子

工作 随笔杂谈 日常

OpenFeign和Consul爱恨交织的两天

编号94530

Spring Cloud Consul OpenFegin spring 5

面试题总结--HashMap、Volatile相关

彭阿三

深入浅出 Go - sync.Map 源码分析

helbing

Go 语言

架构师训练营第九周作业

我是谁

极客大学架构师训练营

某美团程序员爆料:筛选简历时,用go语言的基本不看!网友:当韭菜还当出优越感了!

Java架构师迁哥

《Python程序员面试算法宝典》PDF 超清版免费领取

计算机与AI

Python 面试 算法

SQL数据库:GROUPING运算符

正向成长

GROUPING运算符

历时一年半,Apache Kyuubi正式毕业,成为 ASF 顶级项目_文化 & 方法_凌敏_InfoQ精选文章