苏宁 OLAP 引擎发展之路

阅读数:1231 2019 年 8 月 11 日 00:00

苏宁 OLAP 引擎发展之路

QCon 北京 2019 大会上,赵云讲师做了《苏宁 OLAP 引擎发展之路》主题演讲,主要内容如下。

演讲简介

对于海量大数据进行即时的多维分析,没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景,我们结合各项大数据技术建立苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询,在建设过程中,也遇到了各种各样的挑战。

如何将复杂业务场景抽象化,提供平台级能力支持,如何通过统一的 SQL 引擎来实现各种类型数据的统一查询;对于通用服务计算框架无法解决的问题,如何通过定制化实现来解决;对于通用查询引擎无法满足响应时间的场景,如何通过预计算方式来实现;如何通过 Cost 模型来对服务进行分级和隔离等等。本次深度揭秘苏宁建设 OLAP 引擎过程中如何运用各项技术解决问题的方案,以及过程中遇到的坑和优化方法。

演讲大纲

1、苏宁 OLAP 引擎概况;

2、OLAP 引擎架构;

3、特定业务解决方案;

4、技术挑战;

5、未来规划。

讲师介绍

赵云

苏宁科技集团 OLAP 平台负责人

现担任苏宁 OLAP 平台负责人,拥有 10 年以上相关领域经验,对多项大数据技术有着广泛使用经验和深刻的理解。目前负责苏宁 OLAP 引擎,Druid,ES 等大数据组件,主导并推进苏宁统一的基于 SQL 的 OLAP 引擎,Druid 服务化平台,ES 服务化平台的建设,极大的提升各项指标数据的开发时间,减少各项人力和硬件成本。

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

苏宁 OLAP 引擎发展之路

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2019/beijing/schedule

评论

发布