写点什么

谷歌推出 Bigtable 联邦查询,实现零 ETL 数据分析

  • 2022-08-25
    北京
  • 本文字数:944 字

    阅读完需:约 3 分钟

谷歌推出Bigtable联邦查询,实现零ETL数据分析

最近,谷歌宣布 Bigtable 联邦查询普遍可用,用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外,查询无需移动或复制所有谷歌云区域中的数据,增加了联邦查询并发性限制,从而缩小了运营数据和分析数据之间长期存在的差距。

 

BigQuery 是谷歌云的无服务器、多云数据仓库,通过将不同来源的数据汇集在一起来简化数据分析。Cloud Bigtable 是谷歌云的全托管 NoSQL 数据库,主要用于对时间比较敏感的事务和分析工作负载。后者适用于多种场景,如实时欺诈检测、推荐、个性化和时间序列。

 

在以前,用户需要使用 ETL 工具(如 Dataflow 或者自己开发的 Python 工具)将数据从 Bigtable 复制到 BigQuery。现在,他们可以直接使用 BigQuery SQL 查询数据。联邦查询 BigQuery 可以访问存储在 Bigtable 中的数据。

 

要查询 Bigtable 中的数据,用户可以通过指定 Cloud Bigtable URI(可以通过 Cloud Bigtable 控制台获得)为 Cloud Bigtable 数据源创建一个外部表。URI 包含以下这些内容:

 

  • 包含 Cloud Bigtable 实例的项目 ID——project_id;

  • Cloud Bigtable 实例 ID——instance_id;

  • 要使用的应用程序配置文件 ID——app_profile(可选);

  • 要查询的表名——table_name。



来源:https://cloud.google.com/blog/products/data-analytics/bigtable-bigquery-federation-brings-hot--cold-data-closer

 

在创建了外部表之后,用户就可以像查询 BigQuery 中的表一样查询 Bigtable。此外,用户还可以利用 BigQuery 的特性,比如 JDBC/ODBC 驱动程序、用于商业智能的连接器、数据可视化工具(Data Studio、Looker 和 Tableau 等),以及用于训练机器学习模型的 AutoML 表和将数据加载到模型开发环境中的 Spark 连接器。

 

大数据爱好者 Christian Laurer 在一篇文章中解释了 Bigtable 联邦查询的好处。

 

你可以使用这种新的方法克服传统 ETL 的一些缺点,如:

 

1. 更多的数据更新(为你的业务提供最新的见解,没有小时级别甚至天级别的旧数据);

2. 不需要为相同的数据存储支付两次费用(用户通常会在 Bigtable 中存储 TB 级甚至更多的数据);

3. 减少 ETL 管道的监控和维护。

 

最后,关于 Bigtable 联邦查询的更多详细信息,请参阅官方的文档页。此外,所有受支持的 Cloud Bigtable 区域都可以使用新的联邦查询。

 

原文链接

Google Introduces Zero-ETL Approach to Analytics on Bigtable Data Using BigQuery

2022-08-25 08:003679

评论

发布
暂无评论
发现更多内容

【数据结构实践】手把手带你简单实现Python自定义栈

迷彩

数据结构 算法 堆栈 8月月更

“小程序化”如何助力智慧产业园区建设破题?

FinClip

如何用文字让 ta 动心?

图灵教育

英特尔联手产业伙伴打造绿色、低碳、智能数据中心

科技之家

英特尔CEO帕特·基辛格:以先进计算和封装创新,满足数字时代算力需求

科技之家

探秘苹果、微软、谷歌操作系统视觉设计,原来…

鼎道智联

ios windows UI 操作系统 视觉交互

Java更改 PDF 页面大小

在下毛毛雨

4 天 7 条 PR,80% 代码覆盖率,开源是「内卷」还是修炼?

腾源会

开源 腾源会 开源摘星计划

一文搞懂 SAE 日志采集架构

阿里巴巴云原生

阿里云 Serverless 云原生

浅谈DingOS 设备端计算

鼎道智联

隐私安全 智能推荐 本地计算 服务推荐

商派oneX新零售系统上架华为云云商店,首次参与“828企业节”

神奇视野

Python自学笔记6-列表有哪些常用操作

和牛

Python 测试 8月月更

以PostgreSql为例,说明生产级别数据库安装要考虑哪些问题?

字母哥哥

数据库 postgresql Linux

Flink+ice 实现可视化规则编排与配置(Demo)

waitmoon

flink 规则引擎使用 规则引擎 CEP 编排系统

InfoWorld文章丨将数据编排技术用于AI模型训练

Alluxio

人工智能 机器学习 数据平台 Alluxio 8月月更

如果重新学计算机

价投小邱

Linux 计算机网络 操作系统

C#/VB.NET:删除PDF文档中的页面

Geek_249eec

C# VB.NET 删除PDF页面

DevSecOps | 极狐GitLab 动态应用程序安全测试(DAST)使用指南

极狐GitLab

DevOps gitlab 运维 测试 CI/CD

Kyligence 助力重庆银行获 IDC FinTech 突破奖认可

Kyligence

数据分析 智能多维数据库

极光与华为云携手共赢,共同助力中企出海

科技云未来

开发制作数字藏品app原理

开源直播系统源码

NFT 数字藏品 数字藏品开发 数字藏品系统

“中国建筑业竞争力百强”中化二建如何做知识管理?

sofiya

浅聊一下邮件通知的批量推送

为自己带盐

dotnetcore 8月月更 邮件发送

「Java」本地文件上传下载预览

价投小邱

文件 下载 文件上传 #java

万物皆可集成系列:低代码释放用友U8+深度价值(3)— 数据融合应用

葡萄城技术团队

李小龙的话道出了移动端“小程序化”的核心——似水无形

FinClip

喜报 | 博睿数据两项发明专利获得国家知识产权局授权,累计发明专利11项

博睿数据

APM 可观测性 博睿数据 智能运维AIOps 发明专利

如何用文字让 ta 动心?

图灵社区

世界人工智能大会阿里巴巴专场论坛《数字时代的技术责任》来了!

阿里技术

Logstash

平凡人生

谷歌推出Bigtable联邦查询,实现零ETL数据分析_大数据_Steef-Jan Wiggers_InfoQ精选文章