QCon全球软件开发大会9折优惠倒计时,了解详情 了解详情
写点什么

GitHub copilot 安全代码生成率仅 60%

试验期间 40% 的情况下生成不了安全代码

作者:Insane 博客

2021 年 9 月 06 日

GitHub copilot 安全代码生成率仅60%

近日,研究人员发表了一篇学术论文,展示对于 GitHub Copilot 安全影响的研究成果。这项研究利用 GitHub Copilot 完成 Visual Studio Code 的代码。结果显示,在不同的场景中,大约 40% 的测试项目存在安全漏洞。


GitHub Copilot 被定义为“结对编程人工智能”,其来自 OpenAI 的先进人工智能系统被称为 Codex,在 GitHub 的高质量代码仓库上进行训练。因此,它的工作方式就像一个超级充电的 IntelliCode(VSCode 的智能补全插件)。Codex 是对 OpenAI 的生成式预训练 Transformer 3(Generative Pre-trained Transformer 3,GPT-3)机器语言模型的改进,它使用了深度学习来生成类似人类的文本。

 

GitHub 首席执行官 Nat Friedman 在 6 月 29 日的博文表示:“OpenAI Codex 对人们如何使用代码有广泛的了解,在代码生成方面显然比 GPT-3 更为强大,部分原因在于它是在一个包含更多公共源代码的数据集上接受训练的。”

 

GitHub Copilot 适用于广泛的框架和语言,但是这一技术预览版本在 Python、 JavaScript、 TypeScript、 Ruby 和 Go 方面表现出色。

 

该项目立即在各个方面引发了争议,它涉及到代码质量、法律和道德问题、取代人类开发者的可能性以及潜在的安全漏洞。

 

最后一项,即安全问题,也是这篇新的学术论文的核心,题为《GitHub Copilot 代码贡献的经验性网络安全评估》(An Empirical Cybersecurity Evaluation of GitHub Copilot's Code Contributions.)。这项研究旨在确定 Copilot 会产生不安全代码的趋势,为用户防范安全问题所需的审查量提供一个衡量标准。

 

通过对来自于 89 种不同代码完成场景的 1692 个程序的测试,通过严谨而细致的科学分析得出结论,40% 的程序存在漏洞。

 

这些情况与前 25 个高风险的通用弱点枚举(Common Weakness Enumeration,CWE)中的一个子集有关,CWE 是由非营利的 MITRE 安全组织管理的一个社区开发的软件和硬件弱点类型列表。



这项研究从三个方面追踪了 Copilot 的行为:

 

  • 领域的多样性,其对领域的响应,即编程语言/范式;

  • 弱点的多样性,在有可能出现漏洞的情况下,其生成的代码容易受到 CWE 前 25 个中每一个弱点的影响;

  • 提示的多样性,它对特定场景的环境的响应(SQL 注入)。

 

这篇学术论文指出:“总体而言,从安全的角度来看,Copilot 对我们的方案的响应有好有坏,这是因为 Copilot 会产生很容漏洞(在所有坐标轴和编程语言中,39.33% 的顶级和 40.48% 的总选项都存在漏洞)。”

 

“顶级选项的安全性尤为重要:新手用户可能更有信心接受‘最佳’建议。由于 Copilot 是通过 GitHub 上的开源代码进行训练的,我们推测安全质量的变化源于社区提供的代码的性质。也就是说,在开源库中某些错误更加明显的地方, Copilot 将更多地复制这些错误。”

 

这篇学术论文与另一篇题为《评估在代码上训练的大型语言模型》(Evaluating Large Language Models Trained on Code)的论文一起,研究了安全以及法律和其他方面的影响。

 

上个月发表的那篇论文说:“Codex 有可能在一系列方面发挥作用。例如,它可以帮助入职用户熟悉新的代码库,减少有经验的编码人员的上下文切换,使非程序员能够编写出规范来实施 Codex 草案,并且有助于教育和探索。然而,Codex 也带来了重大的安全挑战,它并不总能生成符合用户意图的代码,而且也有可能被滥用。”

 

GitHub Copilot 也遭到了自由软件基金会的批评,该基金会宣称,要求发表更多的论文来解决围绕这个项目的哲学和法律问题是“不可接受和不公正的”。

 

这也引发了一些开发者的生存忧虑,他们担心,它和其他先进的人工智能系统可能会取代人类开发者。

 

作者(Hammond Pearce、Baleegh Ahmad、Benjamin Tan、Brendan Dolan-Gavitt 和 Ramesh Karri)在结论中说:“毫无疑问,像 GitHub Copilot 这样的下一代自动完成工具,将会提升软件开发者的生产力。”

 

“但是,尽管 Copilot 能够快速地生成大量代码,我们的结论却表明,当使用 Copilot 作为结对编程的人工智能程序员时,开发人员应该保持警觉。理想情况下,在训练和生成过程中,Copilot 应该配合使用合适的安全意识工具,以最大限度地减少安全漏洞的引入。尽管我们的研究为它处理与安全相关的场景的行为提供了新的视角,但是将来的工作还需要研究其它方面,包括安全强化训练的对抗方法。”

 

研究未提及加强功能以防范安全漏洞的涌入,因此可能会有更多的论文和研究正在进行中。


作者介绍:


Insane 是一家技术博客,专注于人工智能、机器学习、数据科学、应用开发和 Web 开发方面。

 

原文链接:

 

https://www.theinsaneapp.com/2021/09/github-copilot-generated-40-percent-insecure-code.html

2021 年 9 月 06 日 16:051580
用户头像

发布了 72 篇内容, 共 15.5 次阅读, 收获喜欢 74 次。

关注

评论

发布
暂无评论
发现更多内容

架构师训练营 - 第四周总结

牛牛

学习 极客大学架构师训练营

大型互联网系统会面对怎样的一些挑战

Acker飏

第四周总结

晨光

架构师训练营第四周作业

sunnywhy

架构模式:可复用的架构问题解决方案

WANDEFOUR

架构模式 极客大学架构师训练营

一个典型的大型互联网应用系统使用了哪些技术方案和手段,主要解决什么问题?请列举描述。

chenzt

第四周-作业1

seng man

架构师训练营 - 学习总结 第 4 周

水边

极客大学架构师训练营

架构师训练营第四周作业

大丁💸💵💴💶🚀🐟

计算机操作系统基础(八)---存储管理之内存分配与回收

书旅

php laravel 线程 操作系统 进程

Week04总结

熊威

架构师训练营 第四周 作业

Poplar

大型互联网应用系统都采用了哪些技术和手段,解决了什么问题?

hellohuan

极客大学架构师训练营

架构师训练营第四周总结

陈靓-哲露

架构师训练营第四周作业

James-Pang

极客大学架构师训练营

Week04作业

熊威

架构师训练营第四周总结

James-Pang

极客大学架构师训练营

第四周作业

晨光

架构师训练营第四章作业

吴吴

使用图解的方式来解决链表的算法问题

jerry.mei

Java 算法 链表 ARTS 打卡计划 js

架构师训练营 - 作业 -4- 互联网产品问题与架构方案

superman

架构师训练营 第四周 总结

Poplar

架构师训练营第四周作业

陈靓-哲露

架构师训练营 - 命题作业 第 4 周

水边

极客大学架构师训练营

架构师训练营第四周总结

sunnywhy

【架构训练 Week04 作业】

Rex

架构师训练营第四周学习总结

Bruce Xiong

架构师 第四周学习总结

冯凯

程序员的乐趣,生成自定义二维码,5行Python代码就搞定

程序员生活志

Python 程序员 代码 二维码

互联网面临的挑战

师哥

第四周作业一

李海明

案例分享

数据库运维技术发展与展望

数据库运维技术发展与展望

GitHub copilot 安全代码生成率仅60%-InfoQ