写点什么

Kylin: 来自 eBay 的 OLAP 分析引擎

2014 年 10 月 15 日

Kylin 是一个开源、分布式的 OLAP 分析引擎, 它由 eBay 公司开发,并且基于 Hadoop 提供了 SQL 接口和 OLAP 接口,能够支持 TB 到 PB 级别的数据量。从 Kylin 官网得知,它具有以下特性:

  • 超级快的 OLAP 分析引擎,并具备较强的可伸缩性 Kylin 旨在减少 Hadoop 在 10 亿行以上数据级别的情况下的查询延迟。
  • 为 Hadoop 提供 ANSI-SQL 接口 Kylin 为 Hadoop 提供了 ANSI-SQL 接口,并且支持大多数的 ANSI-SQL 的函数。
  • 交互式查询能力 用户能够通过 Kylin 在秒级别的延迟状况下同 Hadoop 进行交互,并且对于相同的数据。集效果优于 Hive 的查询
  • 多维联机分析处理数据仓库(MOLAP Cube) 用户能够定义数据模型,并且通过 Kylin 能够预建超过 10 多亿行原始数据记录的数据模型。
  • 数据模型可与其他 BI 工具无缝集成 目前,Kylin 提供了同 BI 工具无缝集成的功能,如 Tableau。
  • 其他值得关注的特性 具有作业管理和监控的功能、具有简单易用的 Web 操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用 HBase 的 Coprocessor 降低查询延迟等。

支持 Kylin 能够良好运行的生态系统包括以下组成部分:

  • Kylin的核心部分Kylin 的 OLAP 引擎框架包括元数据引擎、查询引擎、作业引擎、存储引擎以及用来处理客户端请求的 REST 服务器
  • 可扩展的组件部分 包括支持更多功能的插件, 如 HBase 的 Coprocessor、Hive 等。
  • 集成的组件部分 生命周期管理器支持集成作业调度器、ETL 工具、监控和报警系统。
  • 用户界面部分 允许第三方用户基于 Kylin 核心组件定制自己的用户界面。
  • 驱动部分 ODBC 和 JDBC 驱动能够支持不同的工具和产品,如 Tableau。

Kylin 是开源的 OLAP 分析引擎,OLAP 即联机分析处理,它能够帮助分析人员、管理人员或执行人员从多角度快速、一致、交互地存取信息和更加深入的了解信息。OLAP 的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。目前,比较著名的开源 OLAP 分析引擎还有 Lemur Mondrian 。Lemur 是用 C++ 编写的面向混合型联机分析处理 (HOLAP) 的引擎,它能够被其他语言的程序所调用,支持切片、切块和旋转等基本操作。Mondrian 是用 JAVA 编写的面向关系型联机分析处理(ROLAP)引擎,它符合 XML 和 XMLA 协议,可以完成异构平台下的数据通信。Mondrian 被设计运行在关系数据库上,提供基于 JAVA 的 API 供应用程序调用展示结果。 另外,Kylin 的源代码托管在 GitHub 上,更多 Kylin 相关信息,读者可登录其官网或者 GitHub 查看。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014 年 10 月 15 日 14:234261
用户头像

发布了 92 篇内容, 共 38.5 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

【高并发】ReadWriteLock怎么和缓存扯上关系了?!

冰河

并发编程 读写锁 高并发 性能调优 ReadWriteLock

Java虚拟机知识 - JVM入门

小马哥

Java JVM 架构师 Java虚拟机 七日更

史上最全!阿里巴巴2021年最新最全500道Java后端面试大全(值得收藏)

云流

Java 编程 程序员 面试

人设崩塌的美国生物实验室

脑极体

限时!字节Java程序性能优化宝典开源,原来这才叫性能优化

互联网架构师小马

Java 性能优化

5G最核心的本质是能力可被编排及开放

JiangX

5G 数字化转型 28天写作

共识算法的简单理解(一)

石君

28天写作

用docker-compose快速部署ChirpStack

LanLiang

golang Docker-compose IoT ChirpStack LoraWan

你跟涨薪只差这份Java核心知识点文档,读懂它你就是技术大佬!

Java架构之路

Java 程序员 架构 面试 编程语言

区块链数字货币钱包系统软件开发|区块链数字货币钱包APP开发

开發I852946OIIO

系统开发

惊悚,单个java进程占用700%的CPU

万里无云

Java 后端 cpu

week9-homework

J

一个系统小BUG修复投产居然花了3个小时来处理(上)

罗小龙

28天写作 投产事故 解决思路

2050年的一次出游 (28天写作 Day15/28)

mtfelix

自动驾驶 28天写作 科幻写作

从零开始学java第一天(为报训练营做准备)

落曦

2020 总结 | VoltDB的亮点,你了解多少?

VoltDB

数据库 物联网 VoltDB

产品质量管理活动流程

俊毅

【操作系统概论】04 - 内存管理

brave heart

操作系统 28天写作

HTML(六)——html表单

程序员的时光

程序员 前端 七日更 28天写作

疫情闭关修炼半个月,我竟把JDK源码都读懂了!

996小迁

Java 编程 架构 面试 程序人生

week9-conclusion

J

soul 数据同步(三)http长轮询 同步策略

xzy

【并发编程的艺术】JVM内存模型

程序员架构进阶

架构 Java内存模型 Java虚拟机 28天写作

花了10000小时从外包到大厂,鬼知道我经历了什么!但回头看来这一路辛酸还是值得的!

程序员小毕

Java 面试 分布式 微服务 算法

小程序,大用处|企业微官网

青城

28天写作

OMG,阿里大佬Kafka手写实战记录,这也太香了

Java架构之路

Java 程序员 架构 面试 编程语言

如何开发一个完善的Kafka生产者客户端?

码农架构

kafka 中间件 消息中间件 架构·

深度 | 阿里云蒋江伟:什么是真正的云原生?

阿里巴巴云原生

云计算 容器 运维 云原生 k8s

厉害!腾讯T3-2都还在学的微服务+MySQL+Kafka+boot2.x+虚拟机PDF

Java架构之路

Java 程序员 架构 面试 编程语言

28天瞎写的第二百二十六天:TechCrunch Hackathon 的故事

树上

28天写作

Windows AD 是否开启或者关闭了UAC服务

BigYoung

windows Windows 10

4月17日 HarmonyOS 开发者日·上海站

4月17日 HarmonyOS 开发者日·上海站

Kylin:来自eBay的OLAP分析引擎-InfoQ