写点什么

360 开源 Quicksql:更简单,更安全,更快速的跨数据源统一 SQL 查询引擎

  • 2019-01-09
  • 本文字数:1455 字

    阅读完需:约 5 分钟

360开源 Quicksql:更简单,更安全,更快速的跨数据源统一SQL查询引擎

引言

话说天下大势,合久必分, 分久必合。 ——罗贯中大大


SQL 的世界也是如此。最初 ANSI 仅仅对 SQL 提出了一种标准,于是各个数据存储厂商都自己定制了专门的 SQL 语法。也因为此,在工作中,我们常常会遇到这样的场景:


小明,刚刚参加工作,第一个任务便是查询从没接触过的 Hive 中的数据。前辈说,不要担心,你直接用查 MySQL 的 SQL 语句查询就好。小明颤颤巍巍写下了第一个 SQL 查询语句,确实能跑。但是随着业务复杂度增加,SQL 的复杂度也随之提升,他渐渐发现 Hive 和 MySQL 的 SQL 语法并不完全一样,平时查询需要区别对待,不停切换。他想知道,有没有一种 SQL 可以支持业内主流的数据存储引擎?


小红,参加工作 2 年。已经学会使用 MySQL、Hive、Oracle 等不同存储引擎的 SQL 语句查询数据。这时,上司说要引入 Elasticsearch。她发现这个数据存储引擎并不能通过 SQL 查询,而是需要编写复杂的 json 查询。渐渐地,她发现类似的存储引擎越来越多,Druid、Redis、Mongo、HBase 等,并且每一种都需要采取不同的方式查询数据,分析一个业务场景所需要切换的查询方式也越来越多。她想知道,可不可以使用 SQL 语言查询 No-SQL 乃至 New-SQL 的数据存储?


所以嘞,Quicksql(简称 QSQL)诞生啦!

Quicksql 是什么

Quicksql 是一个更简单,更安全,更快速的跨数据源统一 SQL 查询引擎。它帮助用户减少在使用不同数据引擎时需要的学习成本和切换成本,忽略不同数据引擎底层存储和数据查询方式的差异,使用户仅需要关注查询的业务逻辑和数据本身。

Quicksql 能做什么?

  1. 统一 SQL 语法:提供统一 SQL 语言,支持不同结构化数据存储查询,方便用户学习。

  2. 多数据存储引擎查询:提供 SQL 查询 No-SQL\New-SQL 等数据存储引擎,方便使用。

  3. 数据联邦:支持跨数据源查询,例如 MySQL join Elasticsearch union Hive。

  4. 方便扩展:分层灵活,Quicksql 可以很方便的扩展多种数据源(Druid、Mongo 等),扩展多种计算引擎(Spark、Flink 等)。

如何使用 Quicksql?

Quicksql 现在提供三种对外服务方式:命令行,API 和 JDBC 连接。


  • 命令行: 根据 Quicksql 的 Github 主页相关说明,用户可以很容易的进行 Quicksql 的部署。部署完成后,Quicksql 提供了脚本模式,支持使用类似 “qsql -e [SQL]” 这样的命令进行数据查询。

  • API: 为方便开发者用户使用,Quicksql 提供了一套 API 方便开发程序调用。与 Spark、Storm 等现有的引擎类似,Quicksql API 在使用中需要先定义环境参数(任务名,执行引擎,查询最大返回条数等),然后进行 SQL 的查询和任务的提交。关于 API 的用法详情可以参考 Quicksql example。

  • JDBC: Quicksql 还实现了 JDBC 的接口,用户可以像连接 MySQL 一样通过 JDBC 方式连接 Quicksql 进行数据查询。

Quicksql 是怎么实现的?

Quicksql 基于 Apache Calcite 提供的多数据引擎 SQL 语义适配功能,基于 ANSI 发布的 SQL 2003 标准和用户的使用习惯上,重新定义并扩展部分 SQL 语义,对用户提供了统一的 SQL 语言。在内部,Quicksql 会根据用户所查询的 SQL 语句,在原语义的基础上,进行解析转化等操作,最终根据数据引擎特性将用户的查询语义完整的转化为数据引擎可执行的 SQL 语句。Quicksql 还拥有智能选择功能,可以根据该 SQL 的引擎特性决定最快速最高效的数据查询方式,例如,当 Quicksql 分析得出查询语句是一个混合查询,它就会自动选择启动集群模式(默认是 Spark)进行数据处理。



想知道更多?这里就是开源主页啦: https://github.com/Qihoo360/Quicksql


有问题还可加入 QQ 群和 360 的技术人员一起交流。QQ 群号:932439028


2019-01-09 08:4512515
用户头像

发布了 1527 篇内容, 共 706.1 次阅读, 收获喜欢 2509 次。

关注

评论 2 条评论

发布
用户头像
q请问,这个可以用来做多租户吗?
2020-12-16 14:56
回复
用户头像
不错的项目,试试ES查询
2019-01-09 09:30
回复
没有更多了
发现更多内容

2020-21《全球质量报告》解读

BY林子

质量保障 质量赋能 敏捷测试

如何避免让微服务测试成为研发团队最大的瓶颈?

阿里巴巴中间件

MySQL之父,MySQL官方,三大顶会齐赞,凭什么?

数据君

字节面试太刁钻了:不加机器,怎么提升系统并发100倍

Java架构师迁哥

Linux-Lab 入门:体验

贾献华

Docker Linux 嵌入式 内核 Lab

Docker开启Remote API 访问 2375端口

wjchenge

Docker 2375端口

十里选一终拿offer,准阿里java程序员分享面试经验!

Java架构之路

Java 程序员 架构 面试 编程语言

Elasticsearch 从 0 到千万级数据查询实践

📿

Java spring elasticsearch Spring Cloud spring data

GraphX 在图数据库 Nebula Graph 的图计算实践

NebulaGraph

图数据库 图数据库实战

满满的干货!阿里开源Java程序员2021年金三银四面试指南

Java架构之路

Java 程序员 架构 面试 编程语言

这只猫在云端定居了?边缘计算在天猫精灵云应用上的落地实践

阿里云Edge Plus

CDN IoT 边缘计算 云桌面

架构师 3 期 3 班 -week10- 作业

zbest

作业 week10

疫情成本遭不住?一招降本85%,架构特性全部公开!

数据君

技术方案设计的方法论及案例分享

阿里巴巴云原生

数据库 流计算 云原生 监控 存储

滴滴 Flink-1.10 升级之路

Apache Flink

flink

疫情又反扑,除了不乱跑,我们还能干点啥?

数据君

让机器人响应更快!阿里云 ARMS 助力深绘智能系统响应时长缩短50%

阿里巴巴中间件

爱奇艺率先上线CUVA HDR标准内容,将多端支持该标准2021央视春晚直播、点播

爱奇艺技术产品团队

云讲堂 | 5期视频带你全面了解滴滴Logi-KafkaManager

滴滴云

kafka 运维 监控 滴滴Logi

年终总结:华为|字节|腾讯|京东|网易|滴滴面经分享(斩获6个offer)

Java架构之路

Java 程序员 架构 面试 编程语言

LeetCode题解:69. x 的平方根,二分查找,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

云话题 | 第3期 你女朋友在买买买时,程序员小哥在干嘛?

阿里云Edge Plus

CDN 直播 直播带货

【内含福利】流行在CDN圈内的黑话有哪些?

阿里云Edge Plus

CDN

教你10分钟解决短信验证码接口被盗刷、轰炸、恶意点击等问题。

香芋味的猫丶

短信防刷 短信验证码 短信防轰炸 短信防火墙

Varchar竟然会自动存储成lob类型?

dbaplus社群

new的过程是怎样的?看完这一篇就懂了

codevald

Java JVM原理 面向对象编程 类对象

2020已过,2021来临,iOS 开发市场如何?一切都是未知!【未来可期】

ios 程序员

List去除重复数据的五种方式

xcbeyond

Java ArrayList 28天写作

万字长文详细总结!关于继承、重写与重载、封装、接口的硬核干货

codevald

Java 接口 封装、继承、多态 类对象

点赞系统软件开发

luluhulian

CodeDay#5 全程回顾——一场关于动态化开发实践的技术探讨

蚂蚁集团移动开发平台 mPaaS

mPaaS Codeday 技术沙龙

360开源 Quicksql:更简单,更安全,更快速的跨数据源统一SQL查询引擎
_数据库_InfoQ 中文站_InfoQ精选文章