微软推出Evals for Agent Interop。这是一个开源的入门级工具包，旨在帮助开发者和组织评估 AI 智能体在现实数字工作场景中的交互性。该工具包提供了精选的场景、代表性数据集和一个评估框架，团队可以将其应用于电子邮件、日历、文档和协作工具等方面的智能体。这项工作反映出，随着 AI 智能体系统不断进入企业工作流，行业正在转向系统化、可重复的 AI 智能体系统评估。
在构建由大型语言模型驱动的自主智能体时，企业面临着传统测试方法未曾考虑到的新挑战。智能体的行为是概率性的，能深度集成于应用程序中，并协调不同的工具。因此，孤立的准确率指标不足以反映其在真实世界的表现。智能体评估已成为AI开发中的一门关键学科，尤其是在企业环境中——智能体可能影响业务流程、合规性及安全性。现代评估框架的努力方向是，不仅要衡量最终结果，更要评估行为模式、情境感知能力及在多步骤任务中的抗干扰性。
Evals for Agent Interop入门工具包旨在为团队提供透明、可重复的评估基线。该工具包提供了模板化的声明式评估规范（以JSON文件形式呈现），以及一套可测量模式遵循度、工具调用正确性等指标的测试框架。同时，它还包含经过校准的 AI 判定评估，用于衡量诸如连贯性和有用性等智能体品质。最初，该工具包聚焦于邮件和日历交互场景，未来计划通过扩展提供更丰富的评分能力、增加评判选项，并支持更广泛的智能体工作流。
微软还在入门级工具包中引入了排行榜概念，为使用不同技术栈和模型变体构建的“稻草人”智能体提供比较洞察。这有助于组织可视化相对性能，及早识别失败模式，并在广泛推广候选智能体之前做出更明智的决策。
该工具包已在 GitHub 上开源。存储库中提供了运行测试和比较多个候选智能体所需的评估工件和框架组件。该项目构建了一个基线评估套件，开发者可以针对特定的领域定制评估标准，重新运行测试，并观察智能体行为在不同约束条件下的变化。
想要试用的话，开发者可以克隆 Evals for Agent Interop 存储库，运行其中内置的评估场景为其智能体程序创建基准，然后再定制评估标准和测试以匹配其工作流。该工具包以 Docker Compose 形式部署，包含三个镜像，便于开发者在本地环境中执行。
声明：本文为 InfoQ 翻译，未经许可禁止转载。
原文链接：https://www.infoq.com/news/2026/02/evals-agent-interop/
