OpenAI 联合 SWE 发布 AI 软件工程能力测试集，Gru.ai 荣登榜首

在 9 月 3 日，Gru.ai 在 SWE-Bench-Verified 评估最新发布的数据中以 45.2% 的高分排名第一。SWE-Bench-Verified 是 OpenAI 联合 SWE 发布测试集，旨在更可靠的评估 AI 解决实际软件问题的能力。该测试集经由人工验证打标，被认为是评估 AI 软件工程能力的最权威标准。

本次参评登顶的 Coding Agent 是来自 Gru.ai 的 Bug Fix Gru。根据 Gru 团队的博客，他们提供给 Bug Fix Gru 完整的运行环境及丰富的开发工具，这是获取高分的基础，而工作流程，多模态支持，Rag 能力的添加都有效提高了得分。值得关注的是，Gru 团队着重提到了他们有一个评估流程来评估任何改动带来的影响。

Gru.ai 是一家提供软件工程 Agent（智能体）的公司，提供四种 Agent：

• Assistant Gru：帮助用户解决独立的技术问题，该产品可直接在网站注册使用。

• Test Gru：基于用户代码补全单测的 Agent，目前该产品仅面相企业开放。

• Bug Fix Gru：基于 Github Issue，直接提交 Patch，目前该产品仅面向企业开放。

• Babel Gru：基于技术文档生成软件，目前该产品仍处于实验室阶段。

Gru 在今年一月披露了一笔 550 万美金的融资，投资方为云九资本和峰瑞资本。在 2023 年到 2024 年两年间，国际上大量的资金涌入代码 Agent 领域，如 Devin、Cosine.sh、Factory、Codium.ai 等，但国内针对软件工程领域 AI 的投资仍然较少。Gru 团队拥有丰富的软件工程和 AI 实践经验，CEO 张海龙曾是开源中国及 Coding.net 创始人。

随着资金和大公司的视线逐步从大模型转向上层应用，AI 行业的主要进步方向已经开始转向处理复杂精密的任务，而非简单的生成文本内容。而 Gru.ai 的成功登顶，标志着国人团队在 Agent 领域的工程技术能力处于第一梯队。