Vercel 为多模型集成推出 AI 网关

Vercel 推出了用于生产环境工作负载的AI网关。该服务提供了一个单一的 API 端点，用于访问范围广泛的大语言和生成式模型，旨在简化开发者的集成和管理。

AI网关允许应用程序通过一个端点向多个模型供应商发送推断请求。它支持自带密钥（bring-your-own-key）认证，这意味着开发者可以使用自己来自供应商（例如OpenAI、Anthropic或Google）的 API 密钥，而无需支付额外的令牌加价。网关还提供一致的请求路由，延迟低于 20 毫秒，旨在保持推断时间的稳定性，无需关心底层供应商的情况。

系统的核心功能之一是其故障转移机制。如果模型供应商遇到停机，网关会自动将请求重定向到可用的替代方案，减少服务中断。它还支持高请求吞吐，具备速率限制功能旨在满足生产级流量的需求。

可观测性内置于平台中。开发者可以访问详细的日志、性能指标和每个请求的成本跟踪信息。这些数据可以用来分析使用模式、监控响应时间，并了解不同模型供应商之间的成本分布，还可以使用AI SDK进行集成，在配置中指定模型标识符即可发出请求。

Vercle强调，AI网关已在内部使用，以运行v0.app，这是一个服务了数百万用户的服务。随着这次发布，基础设施对外部开发者开放，并针对生产工作负载进行了优化。

一个类似的服务是OpenRouter，它也提供了一个统一的接口给不同的 AI 模型供应商。OpenRouter 强调模型发现和跨供应商的价格透明度，Vercel 的 AI 网关则专注于低延迟路由、内置故障转移和与公司现有开发者工具和托管环境的集成。两项服务都旨在简化对多个模型的访问，但它们从不同的角度处理开发者体验和基础设施可靠性。

来自X和Reddit的开发者评论对其简单性和灵活性提出了表扬，同时也表达对免费层限制和特定模型集成的挫败感。

eToro 的技术负责人Filipe Sommer评论说：

太棒了！你能详细说明一下故障转移吗？在这个博客文章和文档中找不到太多信息。比如说，这是否意味着，当一个 Gemini 模型不可用时，它可以自动用另一个模型重试吗？

与此同时，AI 专家Himanshu Kumar评论说：

在优先考虑速度和可靠性的同时，使 AI 访问普及化——这是一个重大的进步。这可能会激发一波新的 AI 驱动应用。

开发者Melvin Arias提出了一个实际问题，询问：

它的定价与 openrouter 相比如何呢？

Vercel 的 AI 网关的正式发布将其定位为构建 AI 驱动应用的更广泛工具生态系统的一部分，重点是路由、可靠性和监控，而不是提供自己的专有模型。

原文链接：

Vercel Introduces AI Gateway for Multi-Model Integration