写点什么

兼容 Presto、Trino、ClickHouse、Hive 近 10 种 SQL 方言,Doris SQL Convertor 解读及实操

  • 2024-03-27
    北京
  • 本文字数:5962 字

    阅读完需:约 20 分钟

大小:875.54K时长:04:58
兼容 Presto、Trino、ClickHouse、Hive 近 10 种 SQL 方言,Doris SQL Convertor 解读及实操

随着版本迭代,Apache Doris 一直在拓展应用场景边界,从典型的实时报表、交互式 Ad-hoc 分析等 OLAP 场景到湖仓一体、高并发数据服务、日志检索分析及批量数据处理,越来越多用户与企业开始将 Apache Doris 作为统一的数据分析产品,以解决多组件带来的数据冗余、架构复杂、分析时效性低、运维难度大等问题。


然而在架构统一和升级的过程中,由于部分大数据分析系统有自己的 SQL 方言、需要对 SQL 语法进行一定程度的修改,另外由于大量原有系统的 SQL 与业务逻辑相关联,需要进行大量业务逻辑的改造,这不可避免地增加了额外迁移成本。


为了帮助企业有效应对这些挑战,Apache Doris 2.1 版本提供了 SQL 方言兼容与转换方案—— Doris SQL Convertor,兼容了包括 Presto、Trino、Hive、ClickHouse、PostgreSQL 等在内多种 SQL 语法。 用户可以在 Doris 中直接使用相应系统的 SQL 语法执行查询,也可以在可视化界面对原有的 SQL 语句进行批量转换。通过 Doris SQL Convertor,能够有效减轻用户业务迁移成本,提供更加顺畅地业务迁移体验

核心特性

无缝切换,高度兼容多种 SQL 方言

无需手动对原有系统的 SQL 方言进行改写,用户仅需要在 Apache Doris 会话变量中设置 set sql_dialect= XXX,即可直接在 Doris 中执行该 SQL 语法的查询。


我们在实际客户场景中进行了大量兼容性测试,以 ClickHouse 和 Presto 方言为例。在某些社区用户的实际线上业务 SQL 兼容性测试中,Doris SQL Convertor 在全部 3 万多条查询语句中,与 Presto SQL 兼容度高达 99.6% ,与 ClickHouse 方言兼容度高达 98%。目前,Doris SQL Convertor 已支持了多种主流 SQL 方言,包括 Presto、Trino、Hive、ClickHouse、PostgreSQL 等。后续我们也将继续收集用户的反馈,在持续优化多种语法兼容性的同时,支持如 Teradata 、SQL Server、Snowflake 等更多方言,以满足用户更多样化的业务需求。

简单易用,支持一键批量生成

除了直接在命令行中执行查询 SQL 以外,我们还提供了可视化界面,支持文本输入和文件上传两种模式。对于单个 SQL,用户可以直接在 Web 界面中进行文本输入。如若存量 SQL 规模庞大,可以通过上传文件进行多个 SQL 的一键批量转换。


安装部署与使用介绍

服务部署与使用

1. 下载最新版本的 SQL 方言转换工具


2.在任意 FE 节点,通过以下命令启动服务。


  • 该服务是一个无状态的服务,可随时启停;

  • 该命令中的 port=5001 是服务端口,可以指定为任意一个可用端口。

  • 建议在每个 FE 节点都单独启动一个服务。


nohup ./doris-sql-convertor-1.0.1-bin-x86 run --host=0.0.0.0 --port=5001 &
复制代码


3.启动 Doris 集群,版本需为 Doris 2.1 或更高


4.在 Doris 中设置 SQL 方言转换服务的 URL。该命令中127.0.0.1:5001 是 SQL 方言转换服务的部署节点 IP 和端口。


MySQL> set global sql_converter_service_url = "http://127.0.0.1:5001/api/v1/convert"
复制代码


在完成服务部署后,我们可以直接在命令行中执行 SQL,在此以 Presto 与 Clickhouse SQL 方言为例。在会话变量中设置set sql_dialect = ``XXX 即可开启服务,执行示例如下:


Presto


mysql> set sql_dialect=presto;                                                                                                                                                                                                             Query OK, 0 rows affected (0.00 sec) 
mysql> SELECT cast(start_time as varchar(20)) as col1, array_distinct(arr_int) as col2, FILTER(arr_str, x -> x LIKE '%World%') as col3, to_date(value,'%Y-%m-%d') as col4, YEAR(start_time) as col5, date_add('month', 1, start_time) as col6, REGEXP_EXTRACT_ALL(value, '-.') as col7, JSON_EXTRACT('{"id": "33"}', '$.id')as col8, element_at(arr_int, 1) as col9, date_trunc('day',start_time) as col10 FROM test_sqlconvert where date_trunc('day',start_time)= DATE'2024-05-20' order by id; +---------------------+-----------+-----------+------------+------+---------------------+-------------+------+------+---------------------+ | col1 | col2 | col3 | col4 | col5 | col6 | col7 | col8 | col9 | col10 | +---------------------+-----------+-----------+------------+------+---------------------+-------------+------+------+---------------------+ | 2024-05-20 13:14:52 | [1, 2, 3] | ["World"] | 2024-01-14 | 2024 | 2024-06-20 13:14:52 | ['-0','-1'] | "33" | 1 | 2024-05-20 00:00:00 | +---------------------+-----------+-----------+------------+------+---------------------+-------------+------+------+---------------------+ 1 row in set (0.03 sec)
复制代码


ClickHouse


mysql> set sql_dialect=clickhouse;                                                                                                                                             Query OK, 0 rows affected (0.00 sec)                                                                                                                                                                                                                                                                                                                          mysql> select  toString(start_time) as col1,                                                                                                                                                arrayCompact(arr_int) as col2,                                                                                                                                               arrayFilter(x -> x like '%World%',arr_str)as col3,                                                                                                                           toDate(value) as col4,                                                                                                                                                       toYear(start_time)as col5,                                                                                                                                                   addMonths(start_time, 1)as col6,                                                                                                                                             extractAll(value, '-.')as col7,                                                                                                                                              JSONExtractString('{"id": "33"}' , 'id')as col8,                                                                                                                             arrayElement(arr_int, 1) as col9,                                                                                                                                            date_trunc('day',start_time) as col10                                                                                                                                     FROM test_sqlconvert                                                                                                                                                         where date_trunc('day',start_time)= '2024-05-20 00:00:00'                                                                                                               order by id;                                                                                                                                                   +---------------------+-----------+-----------+------------+------+---------------------+-------------+------+------+---------------------+                                    | col1                | col2      | col3      | col4       | col5 | col6                | col7        | col8 | col9 | col10               |                                    +---------------------+-----------+-----------+------------+------+---------------------+-------------+------+------+---------------------+                                    | 2024-05-20 13:14:52 | [1, 2, 3] | ["World"] | 2024-01-14 | 2024 | 2024-06-20 13:14:52 | ['-0','-1'] | "33" |    1 | 2024-05-20 00:00:00 |                                    +---------------------+-----------+-----------+------------+------+---------------------+-------------+------+------+---------------------+                                    1 row in set (0.02 sec)
复制代码

可视化界面部署与使用

针对大规模历史业务逻辑转换的需求,推荐使用可视化界面,通过文件批量上传完成方言转换。


可视化界面的部署过程如下:


  1. 环境要求: docker 、docker-compose

  2. 获取 Doris-SQL-Convertor Docker 镜像包(文末附获取 Docker 镜像包方式)

  3. 创建镜像网络


      docker network create app_network
复制代码


  1. 解压安装包


      tar xzvf doris-sql-convertor-1.0.1.tar.gz            cd doris-sql-convertor
复制代码


  1. 编辑环境变量 vim .env


      FLASK_APP=server/app.py      FLASK_DEBUG=1      API_HOST=http://doris-sql-convertor-api:5000            # DOCKER TAG      API_TAG=latest      WEB_TAG=latest
复制代码


  1. 启动


      sh start.sh
复制代码


在部署完成后,可以在本地浏览器中通过 ip:8080 访问。当前默认端口为 8080,可以修改映射端口。在界面中,可直接选择来源方言,输入需要转换的 SQL 方言,并点击 Convert 实现转换。


提示:

  1. 进行批量转换时每条 SQL 需要以 ; 结束

  2. 最多支持 239 个 UNION ALL 转换

结束语

作为一款强大而易用的 SQL 方言转换工具,Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。无论是平滑无痕的方言转换,还是复杂的批量 SQL 处理任务,Doris SQL Convertor 都能够提供快速而稳定的转换体验,确保转化过程中的完整性与准确性。未来,我们将不断扩展支持更多的 SQL 方言并持续提高 SQL 方言的兼容性,以满足不断变化的迁移需求。

2024-03-27 20:527591
用户头像
李冬梅 加V:busulishang4668

发布了 1094 篇内容, 共 708.6 次阅读, 收获喜欢 1243 次。

关注

评论

发布
暂无评论
发现更多内容

为什么开发5年的同事,还在学习23种设计模式?是他太菜?

Java架构师迁哥

java中的NIO和IO到底是什么区别?20个问题告诉你答案

华为云开发者联盟

Java io nio buffer channel

解读革命性容器集群CCE Turbo:计算、网络、调度全方位加速

华为云开发者联盟

容器 华为云 CCE Turbo 集群服务器

从零开始学习3D可视化之坐标系

ThingJS数字孪生引擎

物联网 可视化 数字时代 3D模型 3D可视化

如何在 Electron 上实现 IM SDK 聊天消息全文检索

网易云信

全文检索 Electron IM

数仓发生数据倾斜不要慌,教你轻松获取表倾斜率

华为云开发者联盟

GaussDB MPP GaussDB(DWS) 数据倾斜 并行架构

Mybatis缓存机制详解

北游学Java

Java mybatis

老同学突然升到了阿里P7,只因偷偷掌握了JVM的奥秘?

Java架构师迁哥

2021版最新!字节跳动3面+腾讯6面一次过,谈谈我的大厂面经

Java架构之路

Java 程序员 架构 面试 编程语言

入职美团定级P7,总结2021年最新180道高级岗面试题及答案

Java架构师迁哥

视频监控系统供电方式及选择方法

不脱发的程序猿

视频监控系统 供电方式 智能监控

AI缘起——达特茅斯会议

行者AI

人工智能

每日优鲜:AI 技术驱动下的社区新零售

蚂蚁集团移动开发平台 mPaaS

人工智能 算法 图像识别 codehub

Linux Shell 自动交互人机交互的 3 种方法

学神来啦

Linux 运维 Shell 虚拟机 linux运维

智能家居弱电布线设计注意事项

不脱发的程序猿

智能家居 弱点布线

揭秘Spring家族之——AOP和IOC

Java架构师迁哥

网络攻防学习笔记 Day39

穿过生命散发芬芳

网络攻防 6月日更

5.7w字?GitHub标星120K的Java面试知识点总结,真就物超所值了

Java 编程 程序员 面试 计算机

普通二本,吃透这份阿里高级专家的《Java面试手册21版》成功拿下腾讯offer

Java架构师迁哥

真香!SpringBoot+SpringCloud Alibaba全套脑图+学习笔记+大厂面试题

Java架构追梦

Java 架构 微服务 springboot SpringCloud

京东T8Java架构师呕心沥血总结整理的《15w字的Java面试手册》免费开放分享给大家复习。

Java架构之路

Java 程序员 架构 面试 编程语言

【译】JavaScript 代码整洁之道-重构篇

KooFE

JavaScript 大前端 代码重构 6月日更 整洁代码

学历不够,技术来凑,8年开发经验,逆袭拿到阿里P7岗

Java架构师迁哥

双非本科逆袭记,阿里技术四面+交叉面+HR面,成功拿到offer

Java架构师迁哥

深度分享丨如何使用微细分仪打造金融场景下的战术级客户分群

索信达控股

大数据 金融科技 用户细分 客户数据平台 客户画像

如何看懂常用原理图符号、如何阅读原理图

不脱发的程序猿

电路设计 原理图符号 阅读原理图

Hanoi 塔问题(Java实现)

若尘

数据结构 java编程 6月日更

干货:ANR日志分析全面解析

vivo互联网技术

android 堆栈 日志分析 anr

花了三个小时把一份GitHub上标星115k的《Java超全进阶教程》整理成了PDF文档。

Java架构之路

Java 程序员 架构 面试 编程语言

带你遨游银河系的十种分布式数据库

悟空聊架构

数据库 分布式 分布式数据库 6月日更

博客

vincentjia

兼容 Presto、Trino、ClickHouse、Hive 近 10 种 SQL 方言,Doris SQL Convertor 解读及实操_数据湖仓_SelectDB_InfoQ精选文章