谷歌推出全新的设备端 GenAI API，将 Gemini Nano 引入 ML Kit

ML Kit 新加入的 GenAI API 使开发者能够在 Android 应用中使用 Gemini Nano 进行本地推理，支持诸如总结、校对、改写和图像描述等功能。

例如，你可以对长达 3000 个英文单词的文档进行总结，可以让文本风格更加正式或更加随性，还可以生成标题、元数据或替代图像描述。

在本地运行意味着所有数据，包括输入、推理和输出，都不会离开本地设备，并且不会产生任何云端成本。谷歌表示，GenAI API 的设计注重易于集成和使用，提供了与其他 ML Kit API 类似的高级抽象。

这意味着你可以直接获得高质量的结果，无需额外进行提示词工程或针对特定用例进行微调。

这是通过将每个专门的 API 构建为一个组件栈来实现的，以 Gemini Nano 作为共同基础。Nano 上面是一个小型的、特定于 API 的 LoRA 适配器模型，用于提高性能，接着是一层定义优化推理参数（如提示词、温度、top-K 和批次大小）的层。最后，评估管道结合了自动化评估器、统计指标和人工评估器，以进一步改进生成的响应。

采用这种方法实现的性能提升通过基准分数来衡量，这些基准分数是为每个 API 定制的，考虑了特定属性，例如文本总结中的事实一致性。这些基准表明所有 API 的性能都有了一致的提升，如下图所示。

ML Kit GenAI API 支持流式和非流式工作流程。流式工作流特别适合需要较长响应的场景，因为它能够在不等待整个响应生成完成的情况下逐步输出内容。

在使用 GenAI API 时，ML Kit 会自动下载 Gemini Nano 和任何所需的特定于 API 的模型。开发者也可以控制这个过程，并选择提前下载模型。假设所有所需的模型都已下载，下面的代码片段演示了总结 API 的工作流程：

val articleToSummarize = ...
val summarizerOptions = SummarizerOptions.builder(context)    .setInputType(InputType.ARTICLE)    .setOutputType(OutputType.ONE_BULLET)    .setLanguage(Language.ENGLISH)    .build()val summarizer = Summarization.getClient(summarizerOptions)
val summarizationRequest = SummarizationRequest.builder(text).build()summarizer.runInference(summarizationRequest) { newText ->    // Show new text in UI}

为了确保所有所需功能都可在本地使用，开发者可以调用 summarizer.checkFeatureStatus 方法。

借助 AICore ，ML Kit GenAI API 在搭载了优化的联发科天玑、高通骁龙和谷歌 Tensor 平台的 Android 设备上可用。支持的设备包括 Pixel 9 系列、三星 Galaxy 25、小米 15、摩托罗拉 Razr 60 Ultra 等。

对于有意向开始使用 ML Kit GenAI API 的开发者来说，可以将官方的 ML Kit GenAI API 演示应用作为入手点，它演示了所有新功能，还搭配了官方文档，为开发者提供了更深入的指导。

【声明：本文由 InfoQ 翻译，未经许可禁止转载。】

查看英文原文：https://www.infoq.com/news/2025/06/google-mlkit-genai-gemini-nano/