写点什么

历时一年半,Apache Kyuubi 正式毕业,成为 ASF 顶级项目

  • 2022-12-29
    北京
  • 本文字数:1691 字

    阅读完需:约 6 分钟

历时一年半,Apache Kyuubi正式毕业,成为 ASF 顶级项目

Apache Kyuubi 正式毕业

 

2022 年 12 月 22 日,Apache 软件基金会(ASF)官方宣布 Apache Kyuubi 正式毕业,成为顶级项目(TLP)。

 

Apache Kyuubi 是一个分布式和多租户网关,用于在数据仓库和湖仓上提供无服务器 SQL。项目最初由网易数帆开发并于 2018 年开源,2021 年 6 月捐赠 Apache 基金会,经过 1 年多的孵化于 2022 年 11 月通过投票,在 12 月顺利毕业,成为 Apache 基金会顶级开源项目。

 

据介绍,Apache Kyuubi 在孵化过程中,社区迎来了一百多个贡献,有数千个提交,总计成功发布了九个版本。来自不同公司和国家的开发者和其他类型的贡献者在社区中度过了一段快乐的旅程。

 

Kyuubi 目前已被全球数百家企业采用,涉及多个行业,如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和 ACG,等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。

 

网易副总裁、网易杭州研究院执行院长汪源表示:“Kyuubi 是一个广泛使用的 SQL 门户,其无服务器设计,支持常见的 SQL 驱动,大大提升了大数据技术的使用便利性。作为客户端和底层技术之间的门户和网关,Kyuubi 也有很大的想象空间进行功能扩展,如 SQL 审计、检查、基于查询历史的优化等等。这是一个具有巨大潜力的项目。”

 

Apache Kyuubi VP 姚琴表示:“看到社区成长并从孵化器毕业,这意味着我们已经成功地采用了 ‘Apache Way’并能够自我管理,这很有趣也很令人兴奋。作为一个 Apache 顶级项目,Kyuubi 是由全球各地的人们和组织开发和使用的。Kyuubi 帮助他们实现数据民主化,使具有任何技能水平的人都能舒适地处理数据,而不管他们的技术知识如何。”

“九尾狐”Kyuubi

 

Kyuubi 的命名源自中国神话《山海经》,意为“九尾狐”。狐会喷火,象征 Spark;狐有九尾,类比多租户。这个命名也体现出了 Kyuubi 系统设计之初的主要目的——在 Spark 上实现多租户。

 

事实上,在 Kyuubi 之前,市面上已存在具备类似能力的产品,比如 Spark ThriftServer(简称 STS)。这是 Spark 社区现有的、基于 HiveServer2 实现的 Thrift 服务,旨在无缝兼容 HiveServer2。

 

虽然 STS 的性能极佳,但当前并不完善,尤其在企业场景下存在较多短板。比如,单 Spark 应用实现的 STS 并不能完整支持多租户,因为 STS 本质上是一个 Spark Application,整个 Application 只有全局唯一的用户名,并同时包括 Driver 端和 Executor 端。而对于像网易这样有多条产品线的互联网公司来说,每条产品线的数据在一定程度上是隔离的。因此,只有支持多租户才能满足公司对于数据安全、资源隔离、高可用以及高并发的要求。

 

这也就促使网易内部开发了 Kyuubi。Kyuubi 在统一接口基础上,拓展了 STS 在多租户模式下的使用场景,并依托多租户概念获得了完善的资源隔离共享能力和数据安全隔离的能力。

 

Apache Kyuubi 在各种现代计算框架之上建立了分布式 SQL 查询引擎,例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和 Trino 等,以查询分布在异质数据源的机器群上的大规模数据集。

 

统一网关:通过一个入口点实现对任何集群资源的简化、安全访问,为终端用户部署不同的工作负载

 

  • 应用编程接口:支持各种 API,包括 Apache Thrift™、JDBC、ODBC、REST 等,便于访问。

  • 多租户:支持端到端的多租户,这对集群的安全性和并发性都有利。

  • 高可用性:确保其在指定时间内连续无障碍运行,以满足商定的运行性能水平。

 

无服务器 SQL 及更多:使最终用户更容易从数据宇宙中获得洞察力,并优化数据管道,无论他们的技术知识如何。它能够使用熟悉的 SQL 为各种工作负载提供与 RDBMS 相同的用户体验,在不同的数据源上提供广泛和安全的数据访问能力,并通过可扩展的计算资源为大量数据提供高性能。

 

  • 易用性:终端用户可以有一个优化的体验,以无服务器的方式探索他们的数据宇宙。相应的引擎,如 Spark 和 Flink 的 "超能力 "不再是必要的。

  • 在任何地方以任何规模运行:所有的预编程引擎都有分布式后端,可以在单节点机器上或跨集群安排任务。

  • 高性能:最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。


2022-12-29 14:405201

评论

发布
暂无评论
发现更多内容

【愚公系列】2022年11月 微信小程序-页面间通信

愚公搬代码

11月月更

2022-11-23: 分数排名。输出结果和表的sql如下。请写出输出结果的sql语句? +-------+------+ | score | rank | +-------+------+ | 4.

福大大架构师每日一题

数据库 福大大

微信小程序开发在全局配置和资源加载优化在获取接口上的节点信息实战

恒山其若陋兮

前端 11月月更

手写一个react,看透react运行机制

goClient1992

React

react的useState源码分析

flyzz177

React

react源码分析:深度理解React.Context

flyzz177

React

什么是CI/CD

穿过生命散发芬芳

CI/CD 11月月更

对于基于鸿蒙系统的应用支持多语言Arkui框架的线性容器类和PieChart的研究实战

恒山其若陋兮

前端 11月月更

【web 开发基础】PHP 中的默认(缺省)参数的函数 (33)

迷彩

缺省参数 函数 web开发基础 11月月更 默认参数

自动化测试成熟度模型

老张

DevOps 自动化测试

【web 开发基础】PHP中的引用参数的函数 (32)

迷彩

web开发基础 11月月更 引用传递 引用参数函数 值传递

Zebec流支付生态,开启多链布局的“两手准备”

股市老人

基于OpenHarmony的ArkUI框架进阶对于高性能容器类和持久化和原子化的运用

恒山其若陋兮

前端 11月月更

API关键技术-日志审计技术

阿泽🧸

日志审计 11月月更

【个人成长】《代码的艺术》视频分享合集

非晓为骁

职业规划 开发 软件工程能力 代码的艺术

Jan Ozer:高清直播互动场景下的硬编码如何选型?

声网

人工智能 编码 视频

架构实战营模块 6 作业

陌生流云

架构实战营

C++---类型萃取---std::remove_cv/std::remove_cv

桑榆

C++ STL 11月月更

2022年第三季度泛出行行业洞察:泛出行行业正在经历数智化升级的关键时期,用户规模保持平稳增长,行业整体良性发展

易观分析

数智化 泛出行

深入React源码揭开渲染更新流程的面纱

goClient1992

React

react源码分析:组件的创建和更新

flyzz177

React

《算法》世界一

初学者

算法 网络 11月月更

《算法》世界二

初学者

算法 网络 11月月更

Linux 忘记密码解决方法

芯动大师

Linux线程 11月月更 Linux系统

【web 开发基础】PHP中的伪类型参数的函数 (31)

迷彩

函数 web开发基础 11月月更 伪类型参数函数 伪类型

【活动回顾】Apps Everywhere 上海站圆满结束

亚马逊云科技 (Amazon Web Services)

人工智能 机器学习

软件测试之 Contract Testing

QE_LAB

契约测试 测试技术

Kafka SASL 用户认证机制

spacerrobot

kafka 认证授权 SASL SCRAM JAAS

带你实现react源码的核心功能

goClient1992

React

K8S环境的Jenkin性能问题处理续篇(任务Pod设置)

程序员欣宸

Kubernetes jenkins 11月月更

历时一年半,Apache Kyuubi正式毕业,成为 ASF 顶级项目_文化 & 方法_凌敏_InfoQ精选文章