
如今,每个组织都面临着同样的核心挑战:如何在保留大量数据的需求与日益增长的成本控制压力之间取得平衡。一家金融服务公司可能需要保留多年的模型输出数据,以应对监管审计。一家媒体公司或许会累积数万亿字节的日志数据,这些数据很少被访问,但必须予以保存。各行业的安全团队都会生成海量日志,这些日志虽至关重要且需留存,但极少被查阅。无论是出于合规要求、分析需求还是运营可追溯性目的,情况都大同小异——曾经对日常运营至关重要的数据,最终会变成“冷数据”,但因其价值较高或受法规强制要求,无法直接删除。
在 Snowflake,我们秉持化繁为简的理念。为应对这些挑战,我们欣然宣布:存储生命周期策略(Storage Lifecycle Policies)现已正式提供。该功能提供了一种简单、自动化的方式来管理数据生命周期,能帮助你大幅降低休眠数据的存储成本(降幅达 55%-90%),并以最低的运营开销简化合规流程。
在本篇博文中,我们将介绍如何使用存储生命周期策略自动管理数据生命周期——从归档冷数据到删除过期记录——让你既能节省成本、保持合规,又能将精力集中在创新,而非基础设施管理上。
什么是存储生命周期策略?
存储生命周期策略是一种模式级对象,可让你自动从标准 Snowflake 表中归档或删除数据。这些策略在行级别应用,能基于定义的时间线对要归档或删除的特定数据进行精细控制。你只需定义一个简单的策略表达式,剩下的工作由 Snowflake 负责——它会在共享计算资源上每天自动运行该策略。
开始只需两个步骤,并且新增的一组权限可以帮助你控制谁有权创建和应用这些策略:
创建策略,指定要归档或删除的行;
应用策略,将策略应用到一个或多个表。
以下是一个快速示例:
步骤 1:创建策略
创建一个储存生命周期策略,将超过 360 天的数据归档到 COLD 存储层,五年后删除。
步骤 2:应用策略
将该策略附加到表(my_table)上。
核心优势
“以 Block 公司的规模来看,为满足合规要求而管理数 PB 字节的安全日志,不仅是一项运营挑战,更是一个需要创新解决的技术难题,”Block 公司高级平台安全工程师 Bryan Cha 表示,“我们需要一种更高效的方式来满足我们的七年数据留存要求,同时又不影响保护客户的能力。我们向 Snowflake 提出这一挑战时,他们看到了更广泛的机会,并着手开发了存储生命周期策略。开发全程我们都在合作:在生产环境里测试功能,分享想法帮着完善最终设计。最终的解决方案不仅增强了我们的安全态势,还证明了以‘技术优先’思维应对基础设施挑战能带来多大的可能性。”
大幅降低存储成本
存储生命周期策略可通过自动将较旧、访问频率低的数据迁移到成本更低的归档层级,帮助你优化成本。对于需留存超过一年且需定期检索(例如每六个月检索 10%)的数据,使用 COOL 层级可节省 67%-77% 的存储和管理成本。若使用 COLD 层级,成本节省比例可高达 90%。
图 1:客户经济效益示例
简化合规流程
通过自动化数据留存和删除流程,轻松满足合规要求。你可以配置策略,让数据在永久删除前先归档指定时长;也可直接设置数据过期后删除,无需经过归档环节。这两种方式都能帮助你遵守企业的数据治理标准。
消除运营复杂性
Snowflake 可完全自动化数据生命周期流程,将你的团队从管理复杂手动脚本的工作中解放出来。这不仅减轻了运营负担,还能让你将精力集中在从数据中挖掘价值上。你可以通过 STORAGE_LIFECYCLE_POLICY_HISTORY 表函数轻松监控策略执行情况,从而保持对整个流程的全面可见性。
按需从归档中检索数据
你可以使用带有 WHERE 子句的简单命令,选择性地将归档数据的副本检索到新表中。这使得你在数据检索时能获得与归档时相同的精细控制。
今日即可开启使用
储存生命周期策略现已正式面向所有客户开放。归档层(COOL 和 COLD)在所有 AWS 区域均可使用,过期策略在所有区域及所有云平台(AWS、Azure、GCP)均受支持。Azure 中的归档层目前处于预览阶段。立即开始简化数据管理、降低存储成本,并向合规目标迈进。如需了解更多信息,请查阅 Snowflake 文档。
原文地址:https://www.snowflake.com/en/blog/storage-lifecycle-policies-ga/
点击链接立即报名注册:Ascent - Snowflake Platform Training - China







评论