架构师特刊:Apache Kylin实践(第一期)

值此Apache Kylin开源两年之际,InfoQ将之前发表的Kylin相关的文章集结成册,向社会发行电子书。
作者: InfoQ 中文站
下载此书

作者:韩卿(Luke Han)

麒麟者,神兽也,古人以为,其为四灵之一,仁兽,凡其出没,必有祥瑞。

两年前,我们在 eBay 的时候开源了一个大数据 OLAP 框架,在基本都是使用动物来命名项目名字的大数据生态中,我们选取了麒麟,Kylin,作为项目的名字,最终成为了今天的 Apache Kylin 项目,这在世界众多大数据及开源项目中一眼即知这是来自中国的开源项目。

在 Hadoop 被证明是一个优秀的大数据存储及批处理的平台之后,自然而然用户的需求是如何在 Hadoop 平台之上实现传统数据仓库,商业智能的能力,提供交互式的,多维分析能力,或者,换句话说,如何在 Hadoop 之上,构建数据集市及数据仓库,并提供在传统数据仓库技术所不能做到的超大规模数据集的快速查询,并使用普通的 PC 硬件,而无需采购专用的,私有的一体机或者高端存储等。

因此,Kylin 项目一经开源,即获得了业界众多的称赞,并被邀请加入 Apache 软件基金会的孵化项目,在 2014 年 11 月,正式经投票加入了 Apache 大家庭,项目名字也改成了“Apache Kylin”,在项目开源伊始即幸运的加入全球最大的开源软件基金会,从而开启了麒麟大数据之旅。

在 2015 年 11 月,Apache Kylin 经项目管理委员会及孵化器管理委员会共同投票,正式毕业成为 Apache 顶级项目,和 Apache Hadoop, Apache Spark, Apache Kafka 等众多软件一起成为顶级项目,这是中国工程师的骄傲,目前为止,Apache Kylin 是唯一来自中国的 Apache 顶级开源项目。我本人也成为 Apache 软件基金会唯一一位来自中国的项目管理委员会主席,副总裁。并被提名成为 Apache Member (ASF Member)。目前,项目发展了众多的 PMC member 及 committer, 包括来自 Kyligence、美团、百度、京东、eBay 等众多的贡献者及用户活跃在 Kylin 的社区。

开源项目,开源容易使用难,被广泛使用则更难。而今天,经过 Kylin 社区两年不断的努力和发展,已 经有超过 100 多家国内国外的公司正式使用 Kylin 作为其大数据分析平台的核心。包括 eBay、Glispa、微软、Expedia、百度、美团、网易、京东、唯品会、中国移动、中国电信、国泰君安、华泰证券、联想、OPPo、魅族、去哪儿,等等。Apache Kylin 被用到了诸多如数据仓库,用户行为分析,流量(日志)分析,自助分析平台,电商分析,广告效果分析,实时分析,数据服务平台等各种场景。并且众 多使用者在贡献了非常多的代码,特性等同时,也分享了很多的案例参考,促进了 Kylin 社区的进一步发展。

开源,也促进的商业模式的变革,从最早的 Linux 商业化公司红帽,到今天,Hadoop 诞生了 Cloudera, Hortonworks, MaR, Kafka 诞生了 Confluent, Spark 核心开发者则组建了 Databricks。同样,Kylin 的核心开发者,也在中国组建了 Kyligence, 作为中国唯一一家完全由 Apache 顶级项目核心开发者组建的公司,在中国及国际上进行开源 - 商业模式的探索和尝试,从提供企业级的 Kyligence Analytics Platform,, 到在线的诊断与支持服务 KyBot 等,正在一步步实践开源 - 创业 - 商业的转换路径。

在过去的两年,在 Kylin 的开源道路上,InfoQ—直是我们的好朋友,作为国内最专业的技术媒体,一直关注、帮助并支持 Kylin 的开源和发展,发表了众多的技术文章,为广大开发者,使用者等各位朋友带去了最新的 Kylin 技术架构、算法及众多的实际用户案例。值此开源两年之际,InfoQ 将之前发表的 Kylin 相关的文章集结成册,向社会发行电子书,在此我谨代表 Kylin 社区对此表示由衷的感谢。并且也希望本电子书能为各位读者带来更多更有价值的 Kylin,大数据分析技术及相关的案例,同时,也期待更多的朋友不仅仅使用 Kylin, 而更多的贡献到 Kylin 社区,推动 Kylin 技术的演进,并一起来发展和壮大 Kylin 社区在国际上的影响力。也期待更多的朋友能够撰写相关的技术文章,案例分享并推荐给 InfoQ。

最后,感谢 eBay 最初贡献并开源了 Apache Kylin 项目,感谢 Kylin 的导师、核心开发者、贡献者、用户及社区的每一位朋友,欢迎大家使用并参与 Kylin 社区,如果有任何问题或者建议,欢迎将相关内容发 送给我们邮件列表。

目录

Apache Kylin 在电信运营商的实践和案例分享

Apache Kylin 在美团数十亿数据 OLAP 场景下的实践

Apache Kylin 在百度地图的实践

Apache Kylin 在网易云音乐的实践和调优

Hadoop 上的超高速数据查询

专访韩卿:Kylin 是如何成为 Apache 顶级项目的?

免费下载此书(PDF)
免费下载此书(ePub)
免费下载此书(MOBI)

收藏

评论

微博

发表评论

注册/登录 InfoQ 发表评论