
在最近于纽约市举行的 AWS 峰会上,AWS 正式宣布推出 Amazon S3 Vectors 预览版,声称这是第一个具有原生支持存储大型向量数据集的云对象存储服务。新服务能够提供亚秒级的查询性能,相比传统向量数据库,显著降低了存储 AI 就绪数据的成本。
S3 Vectors 引入了向量存储桶的概念,这是一种新的存储桶类型,提供了一组专用的 API,与现有的 S3 标准存储桶和 S3 表不同。AWS 首席开发者布道师 Channy Yun 解释道:
借助 S3 Vectors,你现在可以高效且经济地存储海量非结构化数据(如图像、视频、文档和音频文件)的向量嵌入,实现可扩展的生成式 AI 应用,包括支持语义和相似性搜索、检索增强生成(RAG)和构建智能体记忆。
创建 S3 向量存储桶后,开发人员可以在通过向量索引来组织向量数据,并针对数据集运行相似性搜索查询。根据官方文档,每个向量存储桶最多可以有 10000 个向量索引,每个向量索引可以容纳数千万个向量。

来源:AWS 博客
开发人员可以将元数据作为键值对附加到向量上,默认情况下所有元数据都是可过滤的,向量索引支持字符串、数字、布尔值和列表类型。
作为独立解决方案,S3 Vectors 特别适合那些查询频率较低的工作负载。为了能够在 AWS 上构建 RAG 应用程序,S3 Vectors 与 Bedrock 知识库和 OpenSearch 进行了集成。Yun 补充道:
通过与 Amazon OpenSearch Service 的集成,可以将不常查询的向量存储在 S3 Vectors 中,从以此来降低存储成本,然后根据需求将其快速移至 OpenSearch,用以支持实时、低延迟的搜索操作。
亚马逊副总裁兼杰出工程师 Andrew Warfield 在领英上阐释了这一目标:
这是 S3 团队令人振奋的时刻,我们正在密切关注 S3 上工作负载的变化……S3 Vectors 的成本远低于传统向量存储。当然,目前它并不提供与基于 DRAM 的存储常见的高吞吐量和低延迟相同的服务水平。我们的理由是,就像其他数据类型一样,构建者会认可向量的高耐用性和低成本基础层,并在必要时将数据移至性能更高、功能更丰富的层。
为了简化在 S3 Vectors 中处理向量嵌入的操作,AWS 还发布了 S3 Vectors Embed CLI 仓库,这是一个独立的命令行工具,用于在 S3 上创建、存储和查询向量嵌入。此外,还提供了一个基于 Python SDK 的“S3 Vectors 入门”教程。
在 Reddit 的一个讨论帖中,大多数开发人员对这一新功能表示认可。其中, Travis Cunningham 写道:
这一举措将每一个 S3 存储桶都转变为一个功能完备的小型向量存储库,不仅提升了亚马逊现有摊销硬件的利润率,还为那些试图在 AI 工作负载领域分一杯羹的竞争对手设置了极高的准入门槛。
Hacker News 的用户 bob1029 评论道:
我仍然认为,大多数人想要的是传统的全文搜索,而不是在 LLM 背后的另一个像黑箱一样的东西。毕竟,你已经拥有一个具备极其强大语义理解能力的模型了。在这种情况下,为什么文档存储也需要变得聪明呢?模型完全可以根据其对上下文的解释,将多个 OR 子句动态地投影到搜索词中。
在另一项公告中,Amazon S3 元数据为存储桶中的所有对象引入了实时库存表。通过托管的 Apache Iceberg 表,用户可以获得存储桶中对象及其元数据的完整且最新的快照,包括现有对象。
由于在大会前几天意外泄露,S3 Vectors 目前已提前在部分区域开放预览,包括北弗吉尼亚、俄亥俄以及欧洲的法兰克福。
【声明:本文由 InfoQ 翻译,未经许可禁止转载。】
原文链接:
评论