写点什么

下一代数据工程:动态表与五大关键能力,重塑构建范式 | 技术趋势

  • 2026-04-22
    北京
  • 本文字数:2279 字

    阅读完需:约 7 分钟

2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式!

数据工程师的角色正在经历一场深刻的变革。如今,数据工程师的工作早已超越单纯编写脚本、将数据从 A 点迁移至 B 点的范畴,而是逐步演变为“全栈构建者”。在应对海量数据的同时,他们还需兼顾复杂的 DevOps 工作流与语义建模。随着技能体系的演进,编程范式也明显向声明式编程转变。工程师不再需要耗费大量时间管理脆弱且逐步执行的命令式指令,而是转而定义数据的期望最终状态,由底层平台自主决定如何实现这一目标。

从动态表到语义视图,再到 Cortex 代码,Snowflake 正将传统数据工程工作流中耗时数天的任务缩短至数分钟。其目标已不再是“少花钱多办事”,而是借助工具实现“多快好省”。依托下一代工具,数据工程师无需操心基础设施的配置、异构工具的管理或繁重的手工编码,只需集中精力定义指标与业务需求,为 AI 智能体提供上下文,便能在其湖仓一体数据基础上交付 AI 解决方案。

以下六大特性,将助您的数据工程生产力迈上新台阶。

在 Snowflake 上加速构建:Cortex Code

数据工程师只需在 Cortex Code 中使用简单的提示词,即可构建生产级数据管道。Cortex Code 使各类数据工程师和分析师都能轻松上手 Snowflake 开发。即便是经验最丰富的数据工程师,也能借助它显著提升工作效率——降低任务复杂度,减少构建耗时。数据工程师可以从零开始创建管道,或将现有代码迁移至 Snowflake;提升可观测性、故障排查及调试能力;并将 AI 作为提高生产力的放大器,助力交付端到端的数据管道。

自主式管道:动态表

多年来,管理增量处理一直是一项依赖复杂逻辑和调度机制的重度手工劳动。动态表使数据工程师、平台团队乃至分析师只需提供 SQL 查询语句,Snowflake 即可自动完成增量更新与编排工作。

借助 Snowflake 动态表提升业务部门的数据交付效率

Travelpass 利用动态表摆脱了复杂的手动编码。通过采用声明式方法,该公司简化了数据管道,显著减少了维持实时数据流所需的工程工时——效率提升了 350%。

规模化开发:Snowflake 上的 dbt 项目

dbt 长期以来一直是数据转换领域的行业标准。如今,企业可以在 Snowflake 上原生运行其开源版本。通过直接在 Snowflake 基础设施上运行 dbt 项目,您可以减少管理 dbt 基础设施与编排工作所带来的额外成本。

Snowflake 上的 dbt 项目提供了一体化的开发体验,使版本控制、测试和文档与数据位于同一平台之上。它赋能团队像对待软件代码一样管理数据转换,从而实现从开发到生产环境的平滑、安全且高度可扩展的过渡。

Snowflake 上的 dbt 项目将改变数据工程实践

数据超级英雄 Keith Belanger 与 Jan Láznička 在本期《Behind the Cape》中阐述了 dbt 项目将如何改变您的数据工程实践。

简化编排:Snowflake 任务

任务允许您安排任意 SQL 语句或存储过程按特定时间间隔运行,或响应特定事件触发执行。

通过利用有向无环图(DAG)结构,任务使工程师能够直接在 Snowflake 内部构建复杂的多步骤工作流。这在许多场景下免除了对昂贵第三方编排工具的依赖,使逻辑紧贴数据存放处,并显著降低了架构复杂性。

在 Snowflake 上原生编排数据管道

Snowflake 现场首席技术官 Jeremiah Hansen 阐述了 Snowflake 任务如何与 dbt 项目中的转换配合,以原生方式处理整个数据管道,无需管理外部编排器。

提升数据质量:数据指标函数

缺乏信任的自动化毫无意义,这正是数据指标函数(DMFs)的用武之地。过去,数据质量往往是事后才考虑的问题——通常是一堆匆忙编写的“健全性检查”脚本。DMFs 提供了一种声明式方法来自动衡量数据健康状况(例如数据新鲜度、唯一性或空值计数)。

现在,您无需再为每张表编写自定义验证脚本,而是可以将质量指标定义为表元数据的一部分。这些内建的、用户可启用的可观测性能力意味着:一旦数据未达到您的业务标准,系统便能立即标记问题,从而帮助您在数据异常影响下游应用和用户之前及时捕获。

使用 DMFs 评估数据质量

Augusto Rosa 讲解了如何利用 DMFs 监控数据的状态与完整性,并衡量诸如数据新鲜度、重复值或空值计数等关键指标。

业务逻辑:语义视图

最后,语义视图的兴起正在弥合工程团队与管理层之间长期存在的“定义鸿沟”。过去,业务逻辑分散于各类 BI 工具中,导致对于同一问题(例如“我们的客户流失率是多少?”)常常得出截然不同的答案。

通过将这些逻辑迁移至语义层——特别是通过语义视图——数据工程师能够一次性固化业务定义。无论用户查看的是仪表板、电子表格,还是 AI 驱动的聊天界面,他们都将从同一事实来源中获取数据。这使得数据仓库从单纯的表集合,转变为面向业务的就绪型知识库。

几分钟内完成 AI 驱动的语义建模

了解 eSentire、HiBob、Simon AI 及 VTS 等组织如何利用语义视图的 Autopilot 功能,确保 AI 智能体基于同一套可信的业务指标运行,同时将语义模型的创建时间从数天缩短至数分钟。

这些特性带来的影响,已不仅是团队效率的渐进式提升;它们标志着数据战略正朝着更自动化、更可靠、更贴合业务的方向发生根本性转变。

如需进一步了解 Snowflake 上的数据工程,请下载《数据工程新必备指南》,并注册参加将于 4 月 22 日举办的线上活动“Snowflake Connect:为 AI 就绪型数据构建转换流水线”。同时,您也可以随时点播观看近期的线上动手实验:面向 AI 智能体的自主 SQL 流水线

原文地址:https://www.snowflake.com/en/blog/next-gen-data-engineering-snowflake-features/

 

点击链接立即报名注册:Ascent - Snowflake Platform Training - China更多 Snowflake 精彩活动请关注专区