过去两个月，ChatGPT火爆全网，写代码、编故事、构建虚拟机……ChatGPT 几乎无所不能。在“硬币的另一面”，有学生开始用 ChatGPT写作业、写论文。根据最新研究，学者们也可能会被 ChatGPT 欺骗，误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。
近日，斯坦福大学研究团队提出了一种名为 DetectGPT 的新方法，旨在成为首批打击高等教育中 LLM 生成文本的工具之一。相关研究论文已发表在预印本网站 arXiv 上。据悉，这是一种使用模型的对数概率函数的局部曲率检测预训练大型语言模型样本的方法，该方法或对检测验证产业带来积极影响。
该方法基于的原理是：由大型语言模型生成的文本通常在模型的对数概率函数的负曲率区域的特定区域徘徊。通过这个发现，该团队开发了一种新的指标，用于判断文本是否是机器生成的，并且不需要训练人工智能或收集大型数据集来比较文本。
研究人员表示，随着大型语言模型(LLMs)的流畅性和知识积累程度不断增强，人们对于检测一段文本是否由机器编写的需求日益旺盛。比如，一些学生使用大型语言模型来完成书面作业，以至于教师无法准确地评估学生的学习情况。
研究人员首先证明了从大型语言模型中采样的文本倾向于占据模型的对数概率函数的负曲率区域。利用这一观察结果，定义了一个新的基于曲率的标准，用于判断是否从给定的 LLM 生成通道。这种方法即为 DetectGPT——不需要训练单独的分类器，不需要收集真实或生成的段落的数据集，也不需要显式地为生成的文本加水印，它只使用由感兴趣的模型计算的对数概率，和来自另一个通用预训练语言模型(例如 T5)的文章随机扰动。
研究发现 DetectGPT 比现有的零帧模型样本检测方法更具鉴别性，显著提高了 20B 参数 GPT-NeoX 生成的假新闻文章的检测能力，从最强零帧基线的 0.81 AUROC 提高到 DetectGPT 的 0.95 AUROC。
然而，这一方法也存在一定的局限性。例如，如果现有的掩模填充模型不能很好地表示有意义的改写空间，则某些域的性能可能会降低，从而降低曲率估计的质量；DetectGPT 相比其他检测方法需要更大的计算量等。
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论 1 条评论