写点什么

Vercel 为多模型集成推出 AI 网关

作者:Daniel Dominguez
  • 2025-09-16
    北京
  • 本文字数:1002 字

    阅读完需:约 3 分钟

Vercel 推出了用于生产环境工作负载的AI网关。该服务提供了一个单一的 API 端点,用于访问范围广泛的大语言和生成式模型,旨在简化开发者的集成和管理。

 

AI网关允许应用程序通过一个端点向多个模型供应商发送推断请求。它支持自带密钥(bring-your-own-key)认证,这意味着开发者可以使用自己来自供应商(例如OpenAIAnthropicGoogle)的 API 密钥,而无需支付额外的令牌加价。网关还提供一致的请求路由,延迟低于 20 毫秒,旨在保持推断时间的稳定性,无需关心底层供应商的情况。

 

系统的核心功能之一是其故障转移机制。如果模型供应商遇到停机,网关会自动将请求重定向到可用的替代方案,减少服务中断。它还支持高请求吞吐,具备速率限制功能旨在满足生产级流量的需求。

 

可观测性内置于平台中。开发者可以访问详细的日志、性能指标和每个请求的成本跟踪信息。这些数据可以用来分析使用模式、监控响应时间,并了解不同模型供应商之间的成本分布,还可以使用AI SDK进行集成,在配置中指定模型标识符即可发出请求。

 

Vercle强调,AI网关已在内部使用,以运行v0.app,这是一个服务了数百万用户的服务。随着这次发布,基础设施对外部开发者开放,并针对生产工作负载进行了优化。

 

一个类似的服务是OpenRouter,它也提供了一个统一的接口给不同的 AI 模型供应商。OpenRouter 强调模型发现和跨供应商的价格透明度,Vercel 的 AI 网关则专注于低延迟路由、内置故障转移和与公司现有开发者工具和托管环境的集成。两项服务都旨在简化对多个模型的访问,但它们从不同的角度处理开发者体验和基础设施可靠性。

 

来自XReddit的开发者评论对其简单性和灵活性提出了表扬,同时也表达对免费层限制和特定模型集成的挫败感。

 

eToro 的技术负责人Filipe Sommer评论说:

太棒了!你能详细说明一下故障转移吗?在这个博客文章和文档中找不到太多信息。比如说,这是否意味着,当一个 Gemini 模型不可用时,它可以自动用另一个模型重试吗?

 

与此同时,AI 专家Himanshu Kumar评论说:

在优先考虑速度和可靠性的同时,使 AI 访问普及化——这是一个重大的进步。这可能会激发一波新的 AI 驱动应用。

 

开发者Melvin Arias提出了一个实际问题,询问:

它的定价与 openrouter 相比如何呢?

 

Vercel 的 AI 网关的正式发布将其定位为构建 AI 驱动应用的更广泛工具生态系统的一部分,重点是路由、可靠性和监控,而不是提供自己的专有模型。

 

原文链接:

Vercel Introduces AI Gateway for Multi-Model Integration