非结构化数据的结构化处理：基于 Snowflake Cortex AI Functions | 技术实践

2026 年，智能体将在企业级应用中取得哪些实质性突破？点击下载《2026 年 AI 与数据发展预测》白皮书，获悉专家一手前瞻，抢先拥抱新的工作方式！

多年来，raw → transformed → curated 这种多层数据架构一直是把结构化数据转换成可分析资产的黄金标准。它为数据生命周期带来了纪律性、清晰度和可信度。在这条成熟的管线里，raw 层负责接入原始数据并保留原始状态；transformed 层负责清洗、增强并整合数据，形成一致视图；curated 层则输出经过精细整理和优化的数据，供业务直接消费。

但企业每天产生的大量非结构化数据怎么办？通话转录、支持工单、法律合同、图像和视频里都蕴藏着有价值的信息。尽管潜力巨大，这些数据却经常分散在割裂的孤岛里，只靠临时脚本处理。结果就是洞察不一致、决策变慢，而且企业错失了释放这些数据真实价值的机会。

现在，是时候把同样的严谨性应用到非结构化数据上了。

我们引入了一种全新的方式，用 Snowflake Cortex AI Functions 来实现“把非结构化变成结构化”：将非结构化数据直接引入数据仓库，并通过可复用的工作流，把它转化成结构化、可行动的洞察。核心就在于重新定义后的 transformed 阶段。这个阶段利用 Cortex AI Functions，直接在 SQL 中把原始非结构化数据转换为实体抽取结果、情感评分、摘要等结构化信息。之后，这些增强后的输出会无缝流入 curated 层，随时可用于驱动 BI dashboards、ML pipelines，以及借助 Snowflake Cortex Analyst 进行自然语言探索。

面向非结构化数据的全新 transformed 层

在这个框架中，transformed 层是连接“杂乱无章的文本”和“结构化、可度量分析”的关键桥梁。也就是说，原始文本正是在这里，变成了企业能够追踪、度量和采取行动的数据。

这一层的核心原则包括：

• Stay native：所有非结构化数据都直接在 Snowflake 内部用 Cortex AI Functions 处理，不需要为了自然语言处理再把数据搬出去，从而简化架构并提升治理能力；

• Align with business：重点提取对业务有意义的概念，例如识别一次通话的升级原因、一份合同的关键条款，或者客户目前所处的购买阶段；

• Create reusable assets：构建可复用的结构化数据资产，使它们可以同时服务于 BI dashboards、ML models 和业务操作系统，并维持单一 source of truth。

Transformed 层的本质，是在数据被查询之前，就先把文本本身转化并增强为更有业务语义的内容。

非结构化数据的工作流

整个工作流沿用了大家熟悉的模式，但新增了一层智能：

• Raw layer：这一初始层通过 Snowflake OpenFlow，从任意来源连接并接入原始非结构化数据。该层保留完整、未经编辑的文本以及相关元数据，为后续的追溯与审计提供基础；

• Transformed layer：价值在这里被真正创造。Cortex AI Functions 可以把原始文本、音频和图像数据转换成便于消费的结构化格式；

• Curated layer：这一层负责把新生成的结构化数据与其他企业数据集整合，并构建包含关键 KPI 和业务关键指标的 curated tables；

• Consumption layer：洞察的最终出口。此时数据已经可以被 BI 工具、ML pipelines 和 Cortex Analyst 的自然语言查询直接消费。

用 Cortex AI Functions 驱动 transformed 层

Snowflake 的 Cortex AI Functions 是非结构化数据 transformed 层的核心引擎，它们被设计出来，就是为了让你直接在数据仓库中从文本里提取洞察。下面是一些典型函数：

• AI_COMPLETE：适合从单条文本或图像记录中提取关键信息，或者生成简洁摘要；

• AI_CLASSIFY：把内容归类到预定义的业务分类体系中，例如把客户通话分成 billing_issue、technical_support 或 cancellation；

• AI_FILTER：快速找出满足特定业务条件的记录，比如过滤掉无关数据，或者标记一张支持工单是否属于投诉；

• AI_SIMILARITY：查找相似案例或文档，非常适合把新问题与已知问题进行匹配，以加快处理速度；

• AI_AGG / AI_SUMMARIZE_AGG：跨大量记录汇总洞察，用于生成适合高管阅读的高层摘要；

• AI_EMBED：为文本或图像生成向量 embedding，从而支持更高级的语义搜索和相似度比较；

• AI_TRANSCRIBE：把音频中的口语内容转成文本，使音频数据在 Snowflake 内也能被搜索和分析。

这些函数让你不再停留在简单关键词搜索层面，而是能够以一致、受治理的方式，对文本数据执行更复杂、更贴合业务的分析。

真实案例：呼叫中心分析

设想一家客户服务组织拥有成千上万条通话转录，但管理者却很难快速回答下面这些关键问题：

• 客户为什么打来电话？

• 哪些案例属于升级处理？

• 客户情绪趋势如何变化？

• 哪些已知问题在反复出现？

借助这一分析层和 Cortex AI Functions，这些问题就能转化为一条可复用工作流。第一步，是把单条通话转录转换成结构化、逐行可分析的数据。

如果原始文件是音频，那么可以先用 Snowflake 的 AI_TRANSCRIBE 直接把音频转成文本。

下面这条 SQL 演示了如何在一条查询里组合多个 Cortex AI Functions：在使用 AI_TRANSCRIBE 完成音频转录之后，再把原始通话文本转换成结构化记录。

-- This query transforms a raw call transcript into a structured, analytics-ready record. It demonstrates row-level extractions using AI_CLASSIFY, AI_FILTER, AI_SIMILARITY, and AI_COMPLETE.WITH call_transcripts_raw AS (  SELECT    'I am calling about a recurring charge on my account that I do not recognize. I am very upset and would like to cancel my service.' AS transcript_txt,    'CUST-1234' AS customer_id)SELECT    customer_id,    AI_CLASSIFY(transcript_txt,      ['billing_issue', 'technical_support', 'cancellation', 'complaint']) AS call_intent,    AI_FILTER(CONCAT(      'Does this call contain any strong signs of customer escalation or complaint?:',transcript_txt)) AS is_escalation_flag,    AI_SIMILARITY(transcript_txt,      'Customer upset about an unknown billing charge on their statement.') AS known_issue_match_score,    AI_COMPLETE('claude-3-5-sonnet',       CONCAT('Extract the main reason for the customer call and their desired outcome in a single sentence.', transcript_txt)) AS call_summaryFROM call_transcripts_raw;

用 AI_AGG 生成高管摘要

像 AI_CLASSIFY 和 AI_FILTER 这样的函数，通常是逐行工作的；而 AI_AGG 则是聚合函数，它能把大量记录中的洞察压缩成一个统一输出。因此，它非常适合用在框架的 curated layer，用来生成供高管消费的高层摘要。

下面这个例子展示了如何用 AI_AGG 把一组通话转录总结成一句关于关键问题的整体概述。

-- This query demonstrates using AI_AGG to create a summary of key issues-- from a collection of raw call transcripts. This is a common operation-- for generating curated insights for the Gold layer.-- Simulate a raw dataset with multiple call transcriptsWITH call_transcripts_raw AS (  SELECT 'I am having trouble logging into my account after the recent update. The password reset isn''t working.' AS transcript_txt UNION ALL  SELECT 'My credit card was charged twice for my subscription this month. I need a refund immediately.' AS transcript_txt UNION ALL  SELECT 'I would like to cancel my subscription, as I no longer use the service.' AS transcript_txt UNION ALL  SELECT 'The mobile app keeps crashing every time I try to access my profile. This is very frustrating.' AS transcript_txt)-- Use AI_AGG to summarize the key topics from all transcriptsSELECT    AI_AGG(transcript_txt, 'Summarize the top three customer issues from these transcripts.') AS weekly_issue_summaryFROM    call_transcripts_raw;

结构化框架用于非结构化数据的收益

把这种结构化的多层框架应用到非结构化数据后，你将获得：

• Governance and lineage：所有非结构化处理都留在 Snowflake 内部完成，从原始文本到结构化洞察的整条审计链路和 lineage 都可以保留；

• Consistency and reusability：构建一条增强管线，服务多个业务团队，消除数据孤岛和定义不一致的问题；

• Scalability and trust：把这套框架扩展到任何领域，无论是支持通话记录还是法律合同，并且每一个结构化事实都能回溯到原始文本，从而建立对数据的信任。

总结

归根到底，这种由 Snowflake Cortex AI Functions 驱动的“结构化处理非结构化数据”的方法，是一种真正具备变革性的能力。它让你终于可以像对待其余数据生态那样，用同样的纪律、治理和严谨性，去对待非结构化数据这种往往最有价值、却长期未被充分利用的资产。

如果你想开始实践，可以从以下三步入手：

1. 找到一个高价值的非结构化数据源，例如客户支持工单或销售通话；

2. 明确你希望从这些文本中提取哪些具体价值；

3. 在 Snowflake 中利用 Cortex AI Functions 实现你的非结构化 transformed layer。

当你把非结构化内容带入这种结构化的多层框架之后，它就不再只是一个难处理的“补充材料”，而会逐步变成驱动战略业务决策的可信资产。

原文地址：https://www.snowflake.com/en/blog/structuring-unstructured-data-cortex-ai-functions/

点击链接立即报名注册：Ascent-Snowflake Platform Training-China更多 Snowflake 精彩活动请关注专区