研究表明 AI 编码助手可提高开发人员的生产力

来自微软、麻省理工学院、普林斯顿大学和宾夕法尼亚大学沃顿商学院的研究人员最近发表了一项研究，表明使用 GitHub Copilot 可提高开发人员的生产力。该团队进行了三项独立的随机对照试验（RCT），涉及 4,000 多名开发人员；结果发现使用 Copilot 的开发人员的生产力提高了 26%。

这三项实验是在微软、埃森哲和一家“未透露名称的财富 100 强电子制造公司”进行的。对于参与研究的 4,867 名开发人员，研究人员测量了他们每周执行的拉取请求、提交和代码构建的数量。他们发现，使用 Copilot 的开发人员每周完成的拉取请求数量平均增加了 26.08%。他们还发现，生产力提升情况因开发人员的经验而异，经验较少的开发人员从 Copilot 中获益更多。根据研究团队的说法：

我们的工作通过在实际工作场所环境中使用现场实验来研究生成式人工智能的影响，是对实验室实验文献以及这些观察性研究的补充。迄今为止，业内仍然缺乏在现场环境中研究生成式人工智能影响的实验研究。

实验于 2022 年和 2023 年进行，使用基于 GPT-3.5 的 Copilot 版本。在微软和埃森哲，实验中的开发人员被随机选择使用 Copilot，而在匿名公司，所有开发人员最终都被授予访问权限，但开始日期是随机选择的。除了跟踪开发人员的生产力指标外，研究人员还跟踪了 Copilot 的采用和使用情况。

研究团队分析了所有开发人员的结果，还根据开发人员从业时间和技能水平做了更细致的分析。他们发现，从业时间较短和技能偏初级的开发人员更有可能采用 Copilot，并继续使用超过一个月，并且这些开发人员更有可能接受 Copilot 生成的输出代码。他们还从该工具中获得了最大的生产力提升。

沃顿商学院教授 Ethan Mollick 在 X 的一个帖子中分享了研究结果，他写道：

我们现在有了随机对照试验，表明使用人工智能在实际公司中大幅提升了编码、管理、创业和写作方面的表现

在 Hacker News 上关于这项研究的讨论中，几位用户表示，该论文的结果与他们自己使用 Copilot 的经历相符。一位用户写道：

对我来说，这项研究最有趣的地方在于，当他们按经验水平进行细分时，超过平均从业时间的开发人员的生产力并没有显著提高……Copilot 可以很好地处理一些乏味的事情，让我的大脑可以更多地关注更深层次的问题，但它并不像初级开发人员所描述的那样改变世界。它还经常出现一些新开发人员无法察觉的微妙错误，这就要求我停下来，以一种经验不足的开发人员可能不知道的方式调整它生成的大多数东西。

生成式人工智能对员工生产力（尤其是软件开发人员生产力）的影响是一个开放的研究领域。今年早些时候，InfoQ 报道了 Upwork 研究所的一项调查，其中大多数接受调查的员工实际上表示 GenAI 降低了他们的生产力。InfoQ 还报道了 eBay 的一项研 究，其中 GitHub Copilot 确实提高了开发人员的生产力。

查看原文链接：

https://www.infoq.com/news/2024/09/copilot-developer-productivity/