限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

谷歌推出 Bigtable 联邦查询,实现零 ETL 数据分析

  • 2022-08-25
    北京
  • 本文字数:944 字

    阅读完需:约 3 分钟

谷歌推出Bigtable联邦查询,实现零ETL数据分析

最近,谷歌宣布 Bigtable 联邦查询普遍可用,用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外,查询无需移动或复制所有谷歌云区域中的数据,增加了联邦查询并发性限制,从而缩小了运营数据和分析数据之间长期存在的差距。

 

BigQuery 是谷歌云的无服务器、多云数据仓库,通过将不同来源的数据汇集在一起来简化数据分析。Cloud Bigtable 是谷歌云的全托管 NoSQL 数据库,主要用于对时间比较敏感的事务和分析工作负载。后者适用于多种场景,如实时欺诈检测、推荐、个性化和时间序列。

 

在以前,用户需要使用 ETL 工具(如 Dataflow 或者自己开发的 Python 工具)将数据从 Bigtable 复制到 BigQuery。现在,他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。

 

要查询 Bigtable 中的数据,用户可以通过指定 Cloud Bigtable URI(可以通过 Cloud Bigtable 控制台获得)为 Cloud Bigtable 数据源创建一个外部表。URI 包含以下这些内容:

 

  • 包含 Cloud Bigtable 实例的项目 ID——project_id;

  • Cloud Bigtable 实例 ID——instance_id;

  • 要使用的应用程序配置文件 ID——app_profile(可选);

  • 要查询的表名——table_name。



来源:https://cloud.google.com/blog/products/data-analytics/bigtable-bigquery-federation-brings-hot--cold-data-closer

 

在创建了外部表之后,用户就可以像查询 BigQuery 中的表一样查询 Bigtable。此外,用户还可以利用 BigQuery 的特性,比如 JDBC/ODBC 驱动程序、用于商业智能的连接器、数据可视化工具(Data Studio、Looker 和 Tableau 等),以及用于训练机器学习模型的 AutoML 表和将数据加载到模型开发环境中的 Spark 连接器。

 

大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。

 

你可以使用这种新的方法克服传统 ETL 的一些缺点,如:

 

1. 更多的数据更新(为你的业务提供最新的见解,没有小时级别甚至天级别的旧数据);

2. 不需要为相同的数据存储支付两次费用(用户通常会在 Bigtable 中存储 TB 级甚至更多的数据);

3. 减少 ETL 管道的监控和维护。

 

最后,关于 Bigtable 联邦查询的更多详细信息,请参阅官方的文档页。此外,所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询。

 

原文链接

Google Introduces Zero-ETL Approach to Analytics on Bigtable Data Using BigQuery

2022-08-25 08:003689

评论

发布
暂无评论
发现更多内容

【Windows】如何在任意文件夹中右键打开cmd终端

知识浅谈

cmd window 快捷方式

一款安全好用的企业即时通讯平台,支持统一门户

BeeWorks

即时通讯IM 私有化部署 企业级应用

《Operating System Concepts》阅读笔记:p636-p666

codists

操作系统

手把手教你安装部署金仓数据库 KingbaseES

金仓技术

数据库· KingbaseES 金仓数据库

AI超新星集体爆发!一文读懂Midjourney V7、LLaMa 4和DreamActor-M1如何改变世界

Seachal

ITSM运营:服务请求管理步步进阶

嘉为蓝鲸

AIOPS ITSM 智能运维

CAD怎么实现XY不同比缩放

极客天地

当 MCP 遇上 Serverless,AI 时代的最佳搭档

阿里巴巴云原生

阿里云 Serverless 云原生

如何优雅地处理 API 版本控制?

数据追梦人

可视化编程范式与未来图景

代码制造者

可视化编程

LED租赁屏如何选购及保养

Dylan

广告 LED LED display AI算力租赁 LED屏幕

CAD怎么实现图形遮挡效果

极客天地

CAD怎么将图形移动到坐标原点

极客天地

09.接口vs抽象类比较

杨充

数据分析与AI丨在企业环境中利用知识图谱赋能生成式 AI

Altair RapidMiner

人工智能 AI 数据分析 知识图谱 生成式AI

解读MES:企业数字化工厂的核心支撑与解决方案

万界星空科技

数字化转型 制造业 mes 制造业工厂 生产管理MES系统

AI Agent落地竞速,金智维卡位千亿级企业市场

脑极体

AI

支持纯内网使用,企业即时通讯平台推荐!

BeeWorks

即时通讯 IM 私有化部署 企业级应用 局域网视频软件

伊登软件与华为云签订合作协议,共建企业应用+AI新范式

极客天地

使用VSCode连接金仓数据库KingbaseES

金仓技术

数据库· KingbaseES 金仓数据库

《一文讲透》第7期:KWDB 巧用标签与索引优化查询性能

KaiwuDB

数据库· #程序员

AI 加速企业数智化 | 2025企业AI创新峰会·河南站圆满收官

用友智能财务

AI 财务 会计

多账号运营必备:OgPhone云手机功能分享

Ogcloud

云手机 tiktok运营 社媒运营 海外社媒运营 矩阵运营

AIoT 智变浪潮演讲实录 | 刘浩然:让硬件会思考:边缘大模型网关助力硬件智能革新

火山引擎边缘云

硬件 大模型 AI 大底座 边缘智能 大模型工具

iVX:让开发者能「一键开挂」

代码制造者

无代码开发

CAD面域功能作用

极客天地

什么是 Redis?为什么你应该关心它?

数据追梦人

手把手教你5招!高效对接微店商品API接口,数据调取快到飞起

代码忍者

微店商品详情API接口

关注网络安全合规的动态

黑龙江陆陆信息测评部

2025混合应用开发新路径:降本增效双驱动策略

xuyinyin

TapData 与 StarRocks 完成兼容性互认证,携手共建实时数据智能生态,联合打造端到端全链路实时数仓解决方案

tapdata

实时数仓 数据集成 StarRocks 实时数据平台 tapdata和starrocks

谷歌推出Bigtable联邦查询,实现零ETL数据分析_大数据_Steef-Jan Wiggers_InfoQ精选文章