写点什么

EmbeddingGemma 2:Google 把五种模态塞进同一个向量空间

作者:Sergio De Simone
  • 2026-10-30
    北京
  • 本文字数:1172 字

    阅读完需:约 4 分钟

AI摘要

EmbeddingGemma 2 是 Google 发布的开放权重多模态嵌入模型,统一支持文本、代码、图像、视频、音频在 768 维空间中的语义对齐,专为设备端低延迟检索优化。

支持按需加载子编码器(2.7B–7.4B 参数),Apache 2.0 许可;在代码与技术内容检索上显著优于前代;跨模态嵌入可直接计算语义相似度。

适合搜索系统工程师、RAG 架构师、边缘 AI 应用开发者阅读。

Google 的 EmbeddingGemma 2 是一款紧凑、开放权重的多模态嵌入模型,基于 Gemma 4 构建,并采用 Apache 2.0 许可证发布。该模型旨在提高语义搜索和检索增强生成(RAG)的效率,同时针对设备端部署优化性能。

EmbeddingGemma 2 旨在移动设备和笔记本电脑等消费级硬件上运行,可为设备端搜索、检索增强生成(RAG)、分类和聚类等应用提供低延迟的语义表示。

得益于多模态能力,EmbeddingGemma 2 支持广泛的检索任务,包括根据查询查找相关文档、屏幕截图和录音,使用自然语言搜索源代码,以及根据文本描述检索视频内容。

Google 表示,EmbeddingGemma 2 的关键特性是能够在统一的 768 维嵌入空间中表示文本、代码、图像、视频和音频。借助这项能力,开发者可以构建跨不同媒体类型进行搜索的检索系统,而无需为不同媒体类型维护彼此独立且不兼容的嵌入空间。

尽管来自不同模态,EmbeddingGemma 2 生成的嵌入仍处于相同的维度空间中,可以根据语义相似度进行比较。

该模型允许开发者只加载应用所需的编码器,其参数规模从用于文本和代码的 2.7 亿扩展到支持完整多模态能力的 7.4 亿。Google 表示,该模型“在代码搜索和技术内容检索方面显著超越 EmbeddingGemma 1,非常适合本地代码库索引和智能体代码搜索”。

EmbeddingGemma 2 支持套娃表示学习(Matryoshka Representation Learning,MRL),可以将嵌入截断为更短的单位长度向量,从而降低存储需求。例如,以 bfloat16 精度存储 100 万个 768 维向量大约需要 1.5GB 内存,而将其截断到 128 维后只需 250MB,存储占用减少至六分之一。不过,这也意味着需要在检索质量之间作出取舍。因此,Google 建议仅在存储空间或搜索速度确有需要时使用截断。在 128 维下,该模型在文本任务上可保留约 90% 的质量,但在图像、视频和语音检索中的表现会下降到约 75%。

在评论这项发布时,Reddit 用户 Distinct-Target7503 肯定了该模型的多模态能力,同时质疑它在纯文本任务上的提升幅度:

这个模型令人印象深刻的地方,是它可以将图像和音频嵌入同一个共享语义空间;但如果只看文本任务,提升并不算巨大。

与此同时,Reddit 用户 Open-Adhesiveness-86 提醒开发者注意正确使用该模型的重要性:

初代 EmbeddingGemma 有两点让我踩过坑,而这些问题很可能仍然适用:任务前缀不是可选项。如果在索引文档时使用查询前缀,而不是“title: none | text: ”,召回率会明显下降。此外,如果要为 MRL 截断向量,应先进行切片,再对较短的向量执行 L2 归一化;如果先在 768 维上归一化再截断,就会得到范数不正确的向量。

EmbeddingGemma 于去年推出,重点面向“离线和隐私敏感场景,例如在本地搜索个人文件、使用 Gemma 3n 运行移动端 RAG 流水线,或者构建特定领域的聊天机器人”。EmbeddingGemma 2 已在 Hugging Face 上提供。

原文链接:

https://www.infoq.com/news/2026/10/embeddinggemma-2-multimodal/