写点什么

开源 Querybook:Pinterest 的大数据协作枢纽

  • 2021-04-29
  • 本文字数:2458 字

    阅读完需:约 8 分钟

开源Querybook:Pinterest的大数据协作枢纽

针对日益远程化世界的高效大数据解决方案

 

Pinterest 拥有超过 3000 亿的 Pins,而这一数字背后是一个不断增长的独特数据集,通过数据映射无数人的兴趣、想法和意图。作为一家数据驱动的公司,Pinterest 使用数据洞察和分析技术来做出产品决策和评估,为超过 4.5 亿的月活用户改善 Pinner 的体验。为了持续做出这些改进,尤其是在今天这个日益远程化的世界中,与过去相比,团队更需要进行查询、创建分析并彼此高效协作。今天我们正在使用 Querybook,这是我们实现更高效、更协作的大数据访问的解决方案,我们还在向社区开源这一项目。

 

无论在 Pinterest 上发起任何分析,一个常见起点是可以在 SparkSQL、Hive、Presto 集群或任何 Sqlalchemy 兼容引擎上执行的即席查询。我们构建了 Querybook 来为此类分析提供一个响应快速且简单的 WebUI,以便数据科学家、产品经理和工程师发现正确的数据、构建他们的查询并分享他们的成果。在本文中,我们将讨论构建 Querybook 的动机,其特性、架构以及我们将项目开源的工作。

旅程

创建 Querybook 的提议始于 2017 年,它一开始是一个内部项目。在那时,我们使用的是一个供应商提供的 Web 应用程序作为查询 UI。用户经常抱怨该工具的 UI、速度和稳定性、缺乏可视化、难以分享等缺陷。不久之后,我们意识到人们非常需要一个更好的查询界面。

 

在确定技术细节时,我们开始采访数据科学家和工程师,咨询他们的工作流程的细节。不久,我们意识到大多数人是在官方工具之外组织他们的查询,很多人使用 Evernote 之类的应用。虽然 Jupyter 有自己的笔记本用户体验,但它需要使用 Python/R,而且它缺乏表元数据集成的问题劝退了很多用户。基于这一发现,我们的团队决定 Querybook 的查询界面将是一个文档,用户可以在该文档中通过搭配元数据和一个简单的笔记应用,一站式完成查询构建和编写分析任务。

 

Querybook 于 2018 年 3 月在内部发布,成为了 Pinterest 上查询大数据的官方解决方案。如今,Querybook 平均有 500DAU 和 7k 的每日查询运行。它的内部用户评级为 8.1/10,是 Pinterest 内部评级最高的工具之一。

特性亮点

图 1 Querybook 的 Doc UI

 

用户首次访问时,他们会很快注意到其独特的 DataDoc 界面。这是用户进行查询和分析的主要位置。每个 DataDoc 均由一系列单元格组成,这些单元格可以是以下三种类型之一:文本、查询或图表。

 

  • 文本单元格带有内置的富文本支持,以供用户记下他们的想法或见解。

  • 查询单元格用于组成和执行查询。

  • 图表单元格用于根据执行结果创建可视化效果。类似 Google Docs,授予用户访问 DataDoc 的权限后,他们可以共同实时协作。

 

通过直观的图表 UI,用户可以轻松地将 DataDoc 变成一个展示内容的仪表板。你可以选择多种可视化选项,例如时间序列、饼图、散点图等。然后你可以将可视化连接到 DataDoc 任意查询的结果上,并按需对它们做排序和聚合预处理。要自动更新这些图表,你可以使用计划选项并选择所需的时间安排。计划程序可以通知用户成功或失败的结果。结合 Jinja 提供的模板选项,创建实时更新 DataDoc 的速度非常快。

 

计划任务和可视化特性并不是要取代 Airflow 或 Superset 之类的工具,而是为用户提供了一种简单快速的方法来对其查询进行实验和迭代。Pinterest 工程师通常将 Querybook 用作撰写查询的第一步,之后再创建生产级工作流和仪表板。

 

最后一点也很重要,Querybook 带有一套自动查询分析系统。它可以对每个执行的查询进行分析,以提取元数据(例如引用的表和查询运行器)。Querybook 使用这些信息自动更新其数据模式和搜索排名,并显示表的常用用户和查询示例。查询越多,表的文档化程度就越高。

架构工程

图 2 Querybook 的架构概述

 

为了了解 Querybook 的工作机制,我们来过一遍编写和执行查询的过程。

 

  1. 第一步是创建一个 DataDoc 并将查询写入一个单元格中。当用户键入内容时,用户的查询将通过 Socket.IO 流式传输到服务器。

  2. 然后,服务器将这些增量推送给所有通过 Redis 读取该 DataDoc 的用户。同时,服务器会将更新的 DataDoc 保存在数据库中,并为 worker 创建一个异步作业以更新 ElasticSearch 中的 DataDoc 内容,待以后搜索。

  3. 编写完查询后,用户可以单击运行按钮来执行查询,然后服务器将在数据库中创建一条记录,并将一个查询作业插入到 Redis 任务队列中。上述 worker 接受任务并将查询发送到查询引擎(Presto、Hive、SparkSQL 或任何与 Sqlalchemy 兼容的引擎)。在查询运行时,worker 通过 Socket.IO 将实时更新推送到 UI。

  4. 执行完成后,worker 加载查询结果并将其分批上传到一个可配置的存储服务(例如 S3)中。最后,浏览器将收到查询完成通知,并向服务器发出一个请求以加载查询结果,显示给用户。

 

简短起见,本节仅关注 Querybook 的一个用户流,但已经涵盖了其所使用的所有基础架构。Querybook 允许用户自定义其中的一些部分。例如,你可以选择将执行结果上传到 S3、Google Cloud Storage 或本地文件。另外,MySQL 也可以与任何与 Sqlalchemy 兼容的数据库(例如 Postgres)互换。

开源之路

在注意到 Querybook 在内部取得的成功之后,我们决定将其开源。我们遇到的一个挑战是如何在保留一些特定于 Pinterest 的集成的同时让它适合通用场景。为此,我们决定通过一套插件系统来做一个两层的组织,并添加一个 Admin UI(管理界面)。

 

借助 Admin UI,其他公司可以通过单个友好的界面来配置 Querybook 的查询引擎、表元数据提取和访问权限。以前,这些配置是在配置文件中完成的,需要更改代码并部署才能生效。有了这个新的 UI,管理员无需更改代码或配置文件即可进行实时 Querybook 更改。

图 3 Admin UI

 

插件系统使用 Python 的 importlib 将 Querybook 与 Pinterest 的内部系统集成在一起。开发人员可以使用插件系统配置认证、自定义查询引擎并实现对内部站点的导出器。插件系统提供的自定义行为让 Querybook 可以针对用户在 Pinterest 上的工作流程做出优化,同时确保开源项目适合大众使用。

 

你可以在 Querybook.org 上查看 Querybook 的更多特性及文档,也可以通过 querybook@pinterest.com 与我们联系。

 

原文链接:https://medium.com/pinterest-engineering/open-sourcing-querybook-pinterests-collaborative-big-data-hub-ba2605558883

2021-04-29 14:193000

评论

发布
暂无评论
发现更多内容

常用的Nmap脚本及使用实例

喀拉峻

网络安全 信息安全 渗透测试 脚本 nmap

架构实战营-总结

哈希

看完这篇SpringBoot让我在阿里成功涨薪40%,感谢

Java 编程 程序员 程序人生 springboot

牛掰!“基础-中级-高级”Java程序员面试集结,看完献出我的膝盖

Java spring 程序员 JVM hashmap

顶会VLDB‘22论文解读:CAE-ENSEMBLE算法

华为云开发者联盟

算法 时间序列 华为云数据库 深度神经网络

Github上线仅六天,收获Star超55K+,这套笔记能拿下90%以上面试

Java redis spring 程序员 架构

科大讯飞联袂伯俊科技进军3C零售,构建发展新格局

科技热闻

接口文档工具yapi的安装

小鲍侃java

11月日更

科技热点周刊|ClickHouse 融资 2.5 亿美元、个人信息保护法正式实施、Facebook 改名 Meta

青云技术社区

云计算 facebook 云原生

网课录屏用什么软件好?Camtasia极简操作,课程重点一目了然

淋雨

Camtaisa

“智慧粮仓”守卫中国饭碗

ThingJS数字孪生引擎

大前端 物联网 可视化

百度Apollo参编首批汽车信息安全国家标准,跻身车联网信息安全第一梯队

百度开发者中心

Apollo

百度智能云人脸采集SDK通过CFCA权威安全测评

百度开发者中心

安全 sdk

万字长文解密数据异构最佳实践(含完整代码实现)!!

冰河

MySQL 数据库 canal 数据同步 数据异构

行业白皮书发布!百度智慧城市助力城市“双碳”目标达成

百度开发者中心

人工智能 智慧城市

linux lsquic 编译

webrtc developer

TDengine在浙商银行微服务监控中的实践

TDengine

tdengine 后端 时序数据库

GitHub点击量破百万访问,不愧是被称阿里神作的JDK源码笔记

Sakura

Java 源码 架构 jdk 面试

《个保法》施行 | App 隐私合规检测双十一尝鲜仅需99元

蚂蚁集团移动开发平台 mPaaS

隐私保护 移动开发 监管合规

恒源云(GPUSHARE)_CAN: 借助数据分布提升分类性能

恒源云

深度学习

四种 AI 技术方案,教你拥有自己的 Avatar 形象

阿里云CloudImagine

人工智能 阿里云 计算机视觉 视频云 元宇宙

百度智能云与雅量商业智能携手,加速零售行业智能化升级

百度开发者中心

百度智能云 零售行业

【高并发】开篇:线程与多线程

冰河

Java 并发编程 多线程 高并发 异步编程

你需要知道的 19 个 console 实用调试技巧

CRMEB

CSS JavaScript DOM console crmeb

百度鸿鹄芯片落地首款量产车吉利博越X 智能车机体验惊艳成都车展

百度开发者中心

百度 车联网 鸿鹄芯片

ReplacingMergeTree:实现Clickhouse数据更新

华为云开发者联盟

数据 事务 Clickhouse 数据更新 OLAP数据库

阿里云视频云,用技术普惠打造平民化“虚拟人”

阿里云CloudImagine

人工智能 阿里云 视频云 数字人 虚拟人

Hexo个人博客快速部署到Gitee&Coding详细教程

老表

Hexo gitee CODING 博客配置 11月日更

极客时间【架构实战营】第二期 模块七作业

Geek_91606e

架构实战营

GitHub远程免密连接详解,还顺手解决了RPC失败HTTP413

老表

GitHub RPC HTTP 11月日更

《黑客之道》kali Linux之NMAP高级使用技巧和漏洞扫描发现

学神来啦

Linux 渗透 kali nmap

开源Querybook:Pinterest的大数据协作枢纽_语言 & 开发_Pinterest Engineering_InfoQ精选文章