利用 BigQuery Omni 对您的数据进行多云分析

Debanjan Saha

2020 年 8 月 25 日

利用 BigQuery Omni 对您的数据进行多云分析

今天,我们要介绍一下 BigQuery Omni —— 一款灵活的多云分析解决方案,借助该解决方案,您可以跨 Google Cloud、Amazon Web Services (AWS) 和 Azure(即将推出)经济高效地访问和安全地分析数据,且无需离开熟悉的 BigQuery 用户界面 (UI)。使用标准 SQL 以及我们客户所喜爱的相同的 BigQuery API,您将能够打破数据“孤岛”,从单一管理界面获得关键业务洞察。因为 BigQuery Omni 由 Anthos 支持,您可以查询数据而不必管理底层基础架构。


Gartner 最近针对云采用情况所进行的研究调查表明,超过 80% 使用公共云的受访者使用不止一个云服务提供商 (CSP)1。数据是组织决策的关键要素,对许多组织而言,这类数据分散在多个公共云。BigQuery Omni 是我们在多云领域持续创新和承诺的延伸,它为您提供了最佳的分析和数据仓库技术 —— 无论您的数据存储在何处。


BigQuery Omni 工作原理


对许多企业而言,在云服务提供商之间移动数据的成本是不可持续的,并且跨多个云无缝工作仍然困难重重。BigQuery Omni 提供了一种对存储在多个公共云中的数据进行分析的新方法,BigQuery 的计算和存储分离模式使这种方法成为可能。通过将二者分离开来,BigQuery 提供可驻留在 Google Cloud 或其他公共云中的可扩展存储,以及执行标准 SQL 查询的无状态弹性计算。不过,目前为止,要使用 BigQuery,您的数据必须存储在 Google Cloud。


竞争对手会要求您将数据从一个公共云移动或者复制到另一个公共云,这可能为您带来移出成本,而 BigQuery Omni 则不完全不同。通过 Google Cloud 中相同的 BigQuery 界面,您将能够查询已存储在 Google Cloud、AWS 和 Azure 中的数据,无需对数据进行任何跨云移动或者复制操作。BigQuery Omni 的查询引擎会在数据驻留的同一区域的集群上运行必要的计算。例如,您可以使用 BigQuery Omni 查询存储在 Google Cloud 中的 Google Analytics 360 Ads 数据,也可查询存储在 AWS S3 中来自您的电子商务平台和应用程序的日志数据。然后,使用 Looker 构建一个仪表盘,使您能够直观地了解受众的行为和购买情况以及您的广告支出。


BigQuery Omni 在由 Google Cloud 完全托管的 Anthos 集群上运行,允许您安全地在其他公共云中执行查询。我们的 Anthos 混合和多云应用程序平台使我们能够在多云中构建、部署和管理 BigQuery 查询引擎 (Dremel)。开发 BigQuery Omni 时,我们深知一致和统一的操作体验对于支持我们的客户至关重要。架构如下图所示:



借助 BigQuery Omni,您能够:


打破数据“孤岛”,获得数据洞察。通过灵活的多云分析解决方案,跨多个云支持您的业务运营。无需将数据从其他公共云移动或复制到 Google Cloud 以进行分析。充分发挥 BigQuery 的威力,以经济高效的方式打破数据“孤岛”,让分析为您所用。


跨多个云获得一致的数据体验。跨您的数据集尽享统一的分析体验 —— Google Cloud、AWS 和 Azure(即将推出)。使用标准 SQL 和 BigQuery 的熟悉界面针对您的所有数据编写查询和构建仪表盘。从单一界面快速解决问题并分享结果。


Anthos 带来更大的灵活性。借助由 Anthos 支持的完全托管的基础架构,针对另一个公共云安全地运行分析。这意味着您可以查询数据而不必担心底层基础架构。计算资源在数据存储的相同云区域中运行,使您能够获得完全无缝的数据分析体验。


以 BigQuery Omni 中已熟悉的界面为起点


以 Google Cloud 中的 BigQuery UI 为起点,选择您的数据存储的公共云区域,并运行您的查询。无需对数据进行格式化或转换 —— BigQuery Omni 支持 Avro、CSV、JSON、ORC 和 Parquet。无需从其他公共云移动或复制您的原始数据,也不必管理集群或者提供资源。计算发生在 BigQuery 的多租户服务中,该服务在数据当前所处的 AWS 区域中运行。



在后台,在 BigQuery 托管服务中的 Anthos 集群上运行 BigQuery 查询引擎。一旦您通过其他公共云的 IAM 角色授予权限,BigQuery 即可从您的帐户中的数据存储获取数据。请注意,数据在 AWS 中临时从您的数据存储移动到运行在 Anthos 上的 BigQuery 集群以执行查询。



选择将查询结果返回到 Google Cloud,以便在 BigQuery UI 中查看。



您也可以将结果直接导出回您的数据存储,无需跨云移动结果或者数据。



2020 年 8 月 25 日 23:31212

评论

发布
暂无评论
发现更多内容

第五周学习总结

晴空万里

极客大学架构师训练营

第九周作业

Geek_ce484f

极客大学架构师训练营

第九周作业总结

Geek_ce484f

极客大学架构师训练营

架构师训练营第九周课后练习

第九周作业

Meow

架构师训练营 1 期 - 第九周总结(vaik)

行之

极客大学架构师训练营

第九周作业

solike

第五周总结

Griffenliu

架构师训练营 - 第九周 - 作业一

行者

数据库工程师整理最常见mysql面试题,每一道都是工作面试经典

小Q

MySQL 数据库 学习 架构 面试

一致性 hash 算法的实现

幸福小子

一致性Hash算法

极客时间架构 1 期:第 9 周 性能优化(三) - 命题作业

Null

第五周 作业

Geek_9527

五周 - 作业

水浴清风

一致性hash

Python进阶——如何正确使用魔法方法?(上)

Kaito

Python

请简述 JVM 垃圾回收原理

orchid9

训练营第九周作业 2

仲夏

极客大学架构师训练营

极客时间架构 1 期:第 9 周 性能优化(三) - 学习总结

Null

第五周作业

Griffenliu

第九周学习总结

orchid9

第九周学习总结

Meow

架构师训练营 2 期 - 第5周命题作业

Geek_no_one

极客大学架构师训练营

架构师训练营 2 期 - 第五周总结

Geek_no_one

极客大学架构师训练营

架构师训练营 - 作业 - 第九周

Max2@12

训练营第五周总结

大脸猫

极客大学架构师训练营

第九周总结

solike

Snowpack - 更快的前端构建工具

曲迪

效率工具 前端 前端工程化 前端进阶

文件上传踩坑记及文件清理原理探究

比伯

Java 大数据 编程 架构 计算机

架构师训练营 1 期 - 第九周作业(vaik)

行之

极客大学架构师训练营

常见的负载均衡实现方案

幸福小子

负载均衡架构

一致性hash算法

落朽

利用 BigQuery Omni 对您的数据进行多云分析-InfoQ