写点什么

什么数据库最适合数据分析师

  • 2015-12-30
  • 本文字数:1563 字

    阅读完需:约 5 分钟

数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度。最近,Mode 的首席分析师 Benn Stancil 发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师

Benn Stancil 认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节。例如,在 Redshift 中如何获取当前时间,是 NOW()、CURDATE()、CURDATE、SYSDATE 还是 WHATDAYISIT。在 Mode 公司,分析师每天都会使用各种不同的语言编写几千个查询,运行在 Mode 编辑器里的查询超过百万个,而 Benn Stancil 就是从这些数据出发,对 MySQL、PostgreSQL、Redshift、SQL Server、BigQuery、Vertica、Hive 和 Impala 这八款数据库进行了比较。

首先,Benn Stancil 认为查询错误是否容易解决是衡量数据库的一个最基本指标。数据库提供的错误信息(通常是语法错误、函数名错误、逗号错位等)最能表明该系统是否会对数据分析师造成极大的挫败感。通过对 8 种数据库查询错误频率的比较,Benn Stancil 发现 Vertica 和 SQL Server 错误率最高,MySQL 和 Impala 最低,如图所示:

但是,对于该结果 Benn Stancil 认为可能有点不严谨,因为 Impala、MySQL 和 Hive 是开源的免费产品,而 Vertica、SQL Server 和 BigQuery 不是,后三者的用户通常是有充足分析预算的大型企业,其较高的错误率很有可能是由于使用更深入而不是语言“更难用”。

除了错误率之外,Benn Stancil 还讨论了复杂性。虽然不同语言其查询长度、查询复杂性和语言复杂性之间的关系盘根错节,要界定清楚很难,但可以间接使用查询长度作为度量的指标,因为一门语言之所以简单很有可能是因为它简洁。这八种数据库查询长度的统计结果如下:

如果说单纯地比较最终的长度有失偏颇,那么可以看看随着分析的逐步深入,查询逐渐变复杂的过程中,其修改次数与长度之间的关系:

该图显示,经过 20 次左右的编辑之后,查询长度通常会变为之前的 2 倍,而在 100 次编辑之后,长度会变为之前的 3 倍。那么在修改的过程中,其编辑次数与出错的比率又是什么样子的呢?

从图中可以看出,PostgreSQL、MySQL 和 Redshift 的错误率较低,Impala、BigQuery 和 SQL Server 的错误率较高。另外,和之前一样,Vertica 的错误率依然最高。

此外,Benn Stancil 认为分析师的技能也很重要。他对使用多个数据库并且在每个数据库上至少运行了 10 个查询的分析师进行了统计,计算了这些分析师在每个数据库上的查询错误率,并根据统计结果构建了下面的矩阵:

该矩阵展示的是顶部数据库与左边数据库相比其错误率的差别,数值越高表现就越差。例如,Hive 和 BigQuery 交叉处的“20.2”表示:对使用这两款数据库的分析师,其使用 Hive 的错误率要比使用 BigQuery 高 20.2。最底部的 Total 行是结果总计,从中可以看出 MySQL 和 PostgreSQL 始终表现较好;Vertica 跳跃最大,几乎是从最底部跳到了中游,打败了 SQL Server 和 Hive,这也暗示了 Vertica 的高错误率很可能是由于分析师的能力而不是语言本身。

最后,Benn Stancil 认为在分析的这 8 个数据库中,MySQL 和 PostgreSQL 编写 SQL 最简单,应用也最广泛,但与 Vertica 和 SQL Server 相比它们的特性不够丰富,而且速度要慢。综合各方面的因素,Redshift 或许才是最好的选择。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

2015-12-30 18:004756
用户头像

发布了 321 篇内容, 共 130.3 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

基于CSS mask和clip-path实现切角的技巧

南城FE

CSS css3 前端

【LeetCode】交替合并字符串Java题解

Albert

算法 LeetCode 11月月更

来自2年前端的面经

loveX001

JavaScript

Curve 文件存储:如何支撑百亿级文件?

网易数帆

文件存储 分布式存储 云原生存储 curve 企业号十月 PK 榜

带你了解NLP的词嵌入

华为云开发者联盟

人工智能 自然语言处理 华为云 企业号十月 PK 榜

深入理解Metrics(五):Timers

冰心的小屋

Java metrics Timers

服务网格:管理对外部服务的访问

Flomesh

微服务 Service Mesh 服务网格 程序员、

Java中的ArrayList类基础使用

共饮一杯无

Java ArrayList 11月月更

深入理解JS作用域链与执行上下文

loveX001

JavaScript

2022前端笔试题总结

loveX001

JavaScript

VUE3+TS学习-项目搭建

肥晨

Vue3 脚手架 11月月更

数据预处理和特征工程-数据预处理-编码与哑变量 & 二值化与分段

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

Java 函数式编程

Ayue、

函数式编程

共筑行业标准,亚信科技AntDB数据库参与多项数据库行业标准研讨会

亚信AntDB数据库

AntDB aisware antdb AntDB数据库

被老板忽悠入局后,我如何在三年内让产品「起死回生」?

LigaAI

产品经理 产品管理 产品管理成功秘诀 产品负责人 企业号十月PK榜

谈谈企业级前端应用 UI 界面增强实现的一些实际案例

汪子熙

angular web开发 SAP Hybris 11月月更

天翼云打造自研云操作系统TeleCloudOS4.0 推动算力蓬勃发展

极客天地

CSS 边框也能动画?background-origin 和 -clip 来施加魔法~

掘金安东尼

CSS 11月月更

2022年11月中国数据库排行榜:GaussDB获认证进前五,GBase得融资竞逐鹿

墨天轮

数据库 opengauss TiDB 国产数据库 KingBase

带你从0到1开发AI图像分类应用

华为云开发者联盟

人工智能 华为云 图像分类 企业号十月 PK 榜

谈谈企业级前端应用中通过 CSS 达到布局定制化的话题

汪子熙

angular web开发 SAP Fiori 11月月更

Dive into TensorFlow系列(1)-静态图运行原理

京东科技开发者

人工智能 机器学习 tensorflow 动态图 静态图

如何使用netlify部署vue应用程序

肥晨

11月月更 网站托管 netlift

kubespray2.11安装kubernetes1.15

程序员欣宸

Kubernetes 11月月更 安装k8s

vue2双向绑定原理:深入响应式原理defineProperty、watcher、get、set

肥晨

11月月更 vue响应式 响应式开发

上新丨Kyligence Zen 上线海量指标模板,轻松变身指标达人

Kyligence

数据分析 指标管理 指标中台

推特引入支付:马斯克的野心,Web3 的机遇

One Block Community

#区块链# 推特 web3 波卡生态

自动化工具如何助力企业落地DevOps?

飞算JavaAI开发助手

前端面试指南之JS面试题总结

loveX001

JavaScript

云原生可观测套件:构建无处不在的可观测基础设施

阿里巴巴云原生

阿里云 云原生 可观测

什么数据库最适合数据分析师_数据库_孙镜涛_InfoQ精选文章