AWS CloudWatch 成为一个统一的可观测性平台,支持 Apache Iceberg

  • 2026-01-16
    北京
  • 本文字数:1391 字

    阅读完需:约 5 分钟

亚马逊云科技宣布,Amazon CloudWatch实现重大增强,从一个基本的监控服务转变为一个统一的可观测性平台,能够整合多账户环境中的操作、安全和合规日志。本次更新解决了企业中一个长期存在的挑战:分散的日志管理需要多个工具和数据副本,每一个都会增加成本和复杂性。

 

本次更新的关键创新是通过Amazon S3表以兼容Apache Iceberg的方式访问日志数据,使组织能够在不使用 ETL 管道的情况下就地查询日志,同时保持与第三方分析工具的兼容性。这种方法,结合对Open Cybersecurity Schema Framework(OCSF)和Open Telemetry(OTel)标准的原生支持,使 CloudWatch 成为像 Splunk 和 Datadog 这样的成熟的可观测性平台的潜在替代品(至少对于以亚马逊云科技云为中心的组织来说是这样)。

 

CloudWatch 现已原生支持跨账户和区域聚合预置日志,通过 AWS Organizations 整合 AWS CloudTrail、Amazon VPC Flow Logs 和 AWS WAF 访问日志等。此外,该服务还支持第三方数据源,包括:CrowdStrike、Okta、Wiz、Zscaler、Microsoft Office 365 以及 ServiceNow CMDB。CloudWatch 为各类数据源提供了托管的 OCSF 转换服务,并通过Grok实现自定义解析与字段级操作

 

CloudWatch 将日志管理简化为一个内置治理功能的单一服务,消除了在不同工具中复制多个数据副本的需求。统一数据存储减少了 ETL 管道的复杂性,降低了运营成本和管理开销。

 

用户可以在 CloudWatch 中使用自然语言或流行的查询语言,如 LogSQL、PPL 和 SQL,通过单个界面运行查询。此外,他们可以通过兼容 Apache Iceberg 的表,使用自己喜欢的分析工具查询数据。新版Facets界面允许通过源、应用程序、账户、区域和日志类型简便地进行筛选,并通过智能参数推断实现跨账户和跨区域查询。

图片来源:亚马逊云科技新闻博客

 

在 LinkedIn 上的一篇博文中,Mphasis 架构师 Suresh Rajashekaraiah 指出,多年来企业一直苦于运营日志与安全日志存储分散的问题,这使得故障排查和合规流程变得复杂。然而,通过增强 Amazon CloudWatch,这个问题得到了解决。该服务提供了一个统一的日志平台,整合并规范了来自其云服务和第三方的数据,支持更高效的查询。

 

然而,Corey Quinn 通过他的 AWS Snarkbot 在 Bluesky 上发了这样一个帖子

 

CloudWatch 如今做到了 Splunk 十五年前做的事,但每句话里云服务名称的数量远超实际内容。“统一数据存储”=S3 加上额外的步骤和咨询账单。

 

虽然 Splunk 提供了跨 Azure、GCP 和本地环境等平台的可见性,但亚马逊云科技押注其原生集成和“零 ETL”成本,这可以为他们赢得以亚马逊云科技云为中心的组织的青睐。此外,虽然像 Datadog 和 Dynatrace 这样的竞争对手提供了深入的应用性能监控和混合云 UI,但它们产生的出口和索引费用通常高于亚马逊云科技采用的 S3 表“就地查询”模型。

 

开源替代方案,如 ELK 技术栈(Elasticsearch、Logstash、Kibana)和 Grafana Loki,提供了供应商无关的统一日志管理,并且由社区驱动创新,不过它们需要组织管理自己的基础设施和运营复杂性。CloudWatch 的托管服务方法消除了这种运营负担,但会将组织更紧密地绑定到亚马逊云科技的生态系统,对于寻求多云灵活性的团队来说,这会带来供应商锁定的问题。

 

目前,除了 AWS GovCloud(美国)区域和中国区域,Amazon CloudWatch 的增强功能在所有 AWS 区域都已提供。要了解 Amazon CloudWatch 的定价详情,可查看定价页面

 

原文链接:

https://www.infoq.com/news/2026/01/aws-cloudwatch-unified-logs/