![360多数据源混合查询引擎的前世今生](https://static001.infoq.cn/resource/image/cd/82/cd8c1c4dd6e3aef52a6bfd1b8c5cb582.png)
在ArchSummit深圳2019大会上,刘思源讲师做了《360 多数据源混合查询引擎的前世今生》主题演讲,主要内容如下。
演讲简介:
数据驱动价值创造,而数据分析在价值创造过程起着核心作用。从传统的 OLTP 到 OLAP,再到数据湖,数据分析的方式发生很大的变化,尤其是目前大数据生态中,多场景的数据存储各显身手。不同的存储,不同的使用方式,数据分析的成本随之水涨船高。着力于降低数据分析人员分析数据的成本,360 大数据分析引擎也历经几次的架构调整和演进,从原始的命令行到界面化的单一数据源查询,最终发展为多数据源混合查询,期间遇到了很多问题以及挑战。
演讲提纲:
介绍 360 大数据中心数据分析平台架构的演进、遇到的问题以及具体的应用场景实践:
360 数据分析场景
遇到的问题与挑战
解决⽅案与思路
引擎实践案例分享
听众受益点:
可以了解数据湖解决方案;
多数据源混合分析引擎的架构设计原则;
大数据分析引擎在实战过程中碰到的问题和解决思路。
讲师介绍:
刘思源
奇虎 360 大数据中心资深研发工程师
现负责交互式查询平台和数据联邦查询引擎的设计和研发,对大数据计算平台和微服务有深入研究。见证了 360 大数据平台从无到有,从单一到生态,从集成到服务化的演化过程。致力于推动 SQL 在大数据平台中多种场景的落地,Apache Calcite 贡献者。
![](https://static001.infoq.cn/resource/image/1d/3a/1d3106435dccd63a36336c80f27d543a.png)
![](https://static001.infoq.cn/resource/image/92/44/92017632a603a9d8398c5385be468144.png)
![](https://static001.infoq.cn/resource/image/2c/32/2ca4d52328c1b574443a7e32c0c05732.png)
![](https://static001.infoq.cn/resource/image/f6/5d/f67dad396b7d2eb62aa976866f9e675d.png)
![](https://static001.infoq.cn/resource/image/8a/c1/8a42a426713f9a47cd54cc9b39475ec1.png)
![](https://static001.infoq.cn/resource/image/0f/d9/0f354c0cec6986ff3faffb3d01c489d9.png)
![](https://static001.infoq.cn/resource/image/63/8f/63f99a49ef044df610f203dec80dc08f.png)
![](https://static001.infoq.cn/resource/image/92/72/929fc3691bacf5fb1ca37927a8e7cc72.png)
![](https://static001.infoq.cn/resource/image/32/06/32d59099613d2bc9e185e22fba75a306.png)
![](https://static001.infoq.cn/resource/image/fc/85/fca0d5a3a69bc04b1f03df4fd3613185.png)
完整演讲 PPT 下载链接:
https://archsummit.infoq.cn/2019/shenzhen/schedule
评论