限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

用 AI 对抗 AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

  • 2023-01-31
    北京
  • 本文字数:838 字

    阅读完需:约 3 分钟

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

过去两个月,ChatGPT火爆全网,写代码、编故事、构建虚拟机……ChatGPT 几乎无所不能。在“硬币的另一面”,有学生开始用 ChatGPT写作业、写论文。根据最新研究,学者们也可能会被 ChatGPT 欺骗,误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。

 

近日,斯坦福大学研究团队提出了一种名为 DetectGPT 的新方法,旨在成为首批打击高等教育中 LLM 生成文本的工具之一。相关研究论文已发表在预印本网站 arXiv 上。据悉,这是一种使用模型的对数概率函数的局部曲率检测预训练大型语言模型样本的方法,该方法或对检测验证产业带来积极影响。

 

该方法基于的原理是:由大型语言模型生成的文本通常在模型的对数概率函数的负曲率区域的特定区域徘徊。通过这个发现,该团队开发了一种新的指标,用于判断文本是否是机器生成的,并且不需要训练人工智能或收集大型数据集来比较文本。

 

研究人员表示,随着大型语言模型(LLMs)的流畅性和知识积累程度不断增强,人们对于检测一段文本是否由机器编写的需求日益旺盛。比如,一些学生使用大型语言模型来完成书面作业,以至于教师无法准确地评估学生的学习情况。

 

研究人员首先证明了从大型语言模型中采样的文本倾向于占据模型的对数概率函数的负曲率区域。利用这一观察结果,定义了一个新的基于曲率的标准,用于判断是否从给定的 LLM 生成通道。这种方法即为 DetectGPT——不需要训练单独的分类器,不需要收集真实或生成的段落的数据集,也不需要显式地为生成的文本加水印,它只使用由感兴趣的模型计算的对数概率,和来自另一个通用预训练语言模型(例如 T5)的文章随机扰动。

 

研究发现 DetectGPT 比现有的零帧模型样本检测方法更具鉴别性,显著提高了 20B 参数 GPT-NeoX 生成的假新闻文章的检测能力,从最强零帧基线的 0.81 AUROC 提高到 DetectGPT 的 0.95 AUROC。

 

然而,这一方法也存在一定的局限性。例如,如果现有的掩模填充模型不能很好地表示有意义的改写空间,则某些域的性能可能会降低,从而降低曲率估计的质量;DetectGPT 相比其他检测方法需要更大的计算量等。

2023-01-31 18:036300

评论 1 条评论

发布
用户头像
你来我往
2023-02-01 08:09 · 浙江
回复
没有更多了
发现更多内容

【LeetCode】连续的子数组和Java题解

Albert

算法 LeetCode 6月日更

【干货篇】bilibili:基于 Flink 的机器学习工作流平台在 b 站的应用

Apache Flink

flink

官宣!禅道与极狐(GitLab)达成深度合作,携手推进开源开放DevOps生态发展

禅道项目管理

项目管理 DevOps gitlab

联邦计算在百度观星盘的实践

百度Geek说

【译】JavaScript 代码整洁之道-复杂判断

KooFE

JavaScript 大前端 6月日更 整洁代码 条件判断

最新!GigaOm 发布 API 网关评测报告:API7 和 Kong 企业版本性能对比

API7.ai 技术团队

负载均衡 架构 云原生 后端 网关

无刷电机与有刷电机的区别

不脱发的程序猿

无刷电机 有刷电机 电机

阿里直通车?阿里Java面试“内幕”:十万字内部面试题总结

Java架构追梦

Java 阿里巴巴 架构 面试

springboot-vue-activiti前后端分离快速开发平台脚手架,整合工作审批流,流程在线编辑器

金陵老街

Vue 后端 工作流 springboot

2021金三银四面试经历:腾讯三面落马+拒网易、CVTE后,字节四面成功拿下offer

Java 程序员 架构 面试

Consul场景用例:服务注册(Service discovery) & 服务网格(Service mesh)

awen

微服务 Consul Service Mesh 服务网格 服务注册与发现 服务网格

从零开始学习3D可视化之控制对象(2)

ThingJS数字孪生引擎

可视化 数据化 3D 3D可视化

python使用命令行传入参数

卤蛋翔

6月日更

OGA 联盟正式成立!禅道作为理事单位助力共建开源生态!

禅道项目管理

项目管理 DevOps gitlab

即构互动白板升级:全面支持教育机构上线H5交互课件

ZEGO即构

音视频 在线教育 互动白板

毒瘤还是银弹--低代码与传统研发模式案例对比

赫杰辉

低代码 低代码开发平台

蓝海战略 - 如何设计与众不同的价值曲线

石云升

战略思考 职场经验 6月日更

defi流动性挖矿系统开发案例分析,defi流动性挖矿现成源码

系统开发咨询1357O98O718

用了10年Windows后,我最终转向Linux

学神来啦

Linux windows

自媒体需要追求内容真实性:不能被流量裹胁

石头IT视角

华为 HarmonyOS 正式发布!你还认为鸿蒙只是安卓套壳吗?

北游学Java

鸿蒙

你想进大厂吗?阿里Java面试“内幕”分享

Java架构师迁哥

iOS上的CSS样式协议 VKCssProtocol

iOSer

CSS ios 移动开发 ios开发 VKCssProtocol

阿里P8熬了一个月肝出这份32W字Java面试手册,在Github标星68K+

Java 程序员 面试

拍乐云推出业内首个「线上美术教学音视频方案」,打造极致互动体验

拍乐云Pano

defi流动性系统开发案例详情丨defi流动性源码功能

系统开发咨询1357O98O718

大数据好书推荐

五分钟学大数据

佣金产品的敏捷交付

鲸品堂

佣金产品 敏捷交付

☕️【Java 技术之旅】知识盲点关于jar包的点点滴滴

码界西柚

Java jar Jar包扫描 6月日更

Flink 在有赞的实践和应用

Apache Flink

flink

拍乐云受邀QCon大会 | 详解音视频技术架构实践,首发美术教学音视频方案

拍乐云Pano

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本_AI&大模型_凌敏_InfoQ精选文章