写点什么

Google Cloud 为 Spanner 数据库引入 HDD 层,将冷存储成本降低 80%

  • 2025-04-11
    北京
  • 本文字数:1108 字

    阅读完需:约 4 分钟

Google Cloud 为 Spanner 数据库引入 HDD 层,将冷存储成本降低 80%

谷歌最近为其在 Google Cloud 上的分布式 SQL 数据库 Spanner 引入 了分层存储。这种分层存储架构包含一种新的 HDD 存储选项,比现有的 SSD 选项便宜 80%,可降低旧数据的存储成本,同时尽可能减少与传统数据迁移相关的开销。


该架构中,默认的 SSD 层是为需要高吞吐量和低延迟的数据而设计的,新的 HDD 层则是为不经常访问或对延迟不敏感的较大数据集而设计的。存储分层 架构由策略驱动:作为维护任务的一部分,异步后台进程会根据用户定义的策略自动将数据从 SSD 移动到 HDD。无论数据在哪个存储层,SQL 查询都可以访问 SSD 和 HDD 层上的数据,并且备份策略在所有数据上一致应用。


谷歌团队强调,对于大多数数据库记录而言,数据的运营价值会随着时间的推移而降低,而其报告和合规性作用则会增强。这种转变意味着旧的“冷”数据不需要像当前的“热”事务数据那样具有高性能访问能力,从而鼓励公司寻求更具成本效益的历史信息存储解决方案。



来源:Google Cloud 博客


谷歌软件工程师 Matthew Muckloo 和谷歌集团产品经理 Piyush Mathur 写道:

迁移到其他类型的存储通常需要复杂的数据管道,并且会影响操作系统的性能。手动在存储解决方案之间分离数据可能会导致读取不一致,需要应用程序级的协调。此外,这种分离对应用程序查询当前和历史数据(例如响应监管机构)的操作施加了重大限制;它还增加了需要审计的治理接触点。


现在用户可以在各种 Spanner 级别(数据库、表、列或二级索引)实施存储分层策略,并可以灵活地将特定数据移动到速度较慢但成本较低的 HDD 存储。例如,很少访问的数据(如 JSON 产品属性)可以移动到 HDD,而无需重构表,并且可以将索引保留在更快的 SSD 上,同时将实际数据存储在 HDD 上。


要启用分层存储,必须创建一个定义存储选项 [SSD(默认)/HDD] 的位置组,并可以选择定义 ssd_to_hdd_spill_timespan 来指定在压缩周期将数据移动到 HDD 之前应在 SSD 上保留数据的时间。例如:


CREATE LOCALITY GROUP recent_on_ssd OPTIONS (storage = 'ssd', ssd_to_hdd_spill_timespan = '15d');
复制代码


创建 SSD 到 HDD 溢出策略。在移动数据之前,数据必须在 SSD 中存储至少 1 小时。


Google Spanner 不是唯一提供分层存储的分布式云数据库。Amazon DynamoDB 隐藏了所使用的存储技术,提供具有不同存储和检索费用的标准和标准 IA 存储类别。


Spanner 的分层存储支持 GoogleSQL 和 PostgreSQL 方言,并且在所有提供 Spanner 的 Google Cloud 区域中都可用。可以从 System Insights 监控 HDD 使用情况。


原文链接:

Google Cloud Introduces HDD Tier for Spanner Database, Cutting Cold Storage Costs by 80%(https://www.infoq.com/news/2025/03/google-spanner-tiered-storage/)

2025-04-11 08:0010701

评论

发布
暂无评论
发现更多内容

黑龙江等保测评:从启动到闭环的全周期流程拆解

等保测评

原点安全签约秦皇岛银行,大模型助力分类分级与数据安全防护体系构建

原点安全

YashanDB数据一致性保障机制详解

数据库砖家

哈尔滨三级等保:为关键信息系统打造坚固安全防线

等保测评

系统梳理 Test-Time Compute 的主要实现路径

Baihai IDP

人工智能 AI 推理模型 测试时计算

YashanDB数据压缩技术及存储优化技巧

数据库砖家

YashanDB性能监控指标解析及优化建议

数据库砖家

AI技术助力传统行业数字化转型

跑一跑

AI‘’

官宣:Apache Cloudberry (Incubating) 2.0.0 发布!

酷克数据HashData

Apache 数据库 开源 Cloudberry

YashanDB数据一致性保障机制及实现

数据库砖家

YashanDB性能分析报告及优化建议分享

数据库砖家

技术干货 | 如何将大表在线改造为分区表并释放空间

GreatSQL

YashanDB应用场景解析,助力企业快速决策

数据库砖家

YashanDB优化存储空间利用率实用技巧

数据库砖家

多台服务器的所有容器,我是这样统一管理的

Yops-运维易

容器 运维 服务器 Linux 运维 #docker

YashanDB性能调优实战教程,提升企业数据处理效率

数据库砖家

YashanDB性能监控核心指标及优化实战

数据库砖家

YashanDB性能优化攻略,提高数据库响应速度实用技巧

数据库砖家

YashanDB优势详解:企业数字化转型的理想数据库选择

数据库砖家

YashanDB与MongoDB数据库功能异同解析

数据库砖家

YashanDB索引优化技巧,提高查询效率

数据库砖家

YashanDB与NoSQL数据库的异同解析

数据库砖家

YashanDB索引设计原则与优化实战技巧

数据库砖家

YashanDB性能调优实战,提升数据库响应速度

数据库砖家

YashanDB性能监控工具的选择与使用技巧

数据库砖家

YashanDB性能监控系统搭建及关键指标分析

数据库砖家

YashanDB用户权限管理教程,提升企业数据安全等级

数据库砖家

YashanDB与开源数据库的比较:优劣势分析

数据库砖家

YashanDB与其他数据库之间的主要区别和选择建议

数据库砖家

哈尔滨等保测评公司选择:企业适配性筛选策略

等保测评

YashanDB应用开发全面教程

数据库砖家

Google Cloud 为 Spanner 数据库引入 HDD 层,将冷存储成本降低 80%_云计算_Renato Losio_InfoQ精选文章