写点什么

科学家被 ChatGPT 骗了

  • 2023-01-30
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

科学家被ChatGPT骗了

根据最新研究,学者们可能会被 ChatGPT 所欺骗,他们误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。


本文最初发布于 The Register。

学者难以识别人工智能生成的假论文摘要


近日,美国西北大学领导的一个研究小组使用 OpenAI 开发的文本生成工具,基于一篇真实科学论文的标题,采用五种不同的医学期刊风格生成了 50 篇摘要。


4 名学者参加了一项测试,他们被分为两组,每组两人。测试通过电子抛硬币的方式来决定将人工智能生成的摘要交给每组中的哪一名审核员。如果一名研究人员拿到的是真摘要,那么另一名研究人员拿到的就是假摘要,反之亦然。每个人都审阅了 25 篇科学摘要。


审核员能够识别出 68% 由人工智能生成的假摘要,和 86% 来自真实论文的原始摘要。换句话说,他们被成功欺骗,将 32% 的人工智能生成的摘要识别为真摘要,将 14% 的真摘要识别为假摘要。


该研究的第一作者、西北大学专攻肺病学的医生和科学家 Catherine Gao 说,这表明 ChatGPT 相当有说服力。她在一份声明中写道,“我们的审核员知道他们收到的部分摘要是假的,所以他们非常警惕”。


“事实上,我们的审核员还是在 32% 的时间里漏掉了人工智能生成的摘要,这表明这些摘要真的很好。我估计,如果有人偶然看到了其中一份生成的摘要,那么他们不一定能识别出那是由人工智能写的。”

大型语言模型生成的文本为什么能骗倒众人?


像 ChatGPT 这样的大型语言模型使用从互联网上抓取的大量文本进行训练。经过学习后,它们会通过预测在给定的句子中哪些词更有可能出现来生成文本,而且生成的文本语法准确。这并不奇怪,即使是学者也会上当受骗,相信人工智能生成的摘要是真的。


大型语言模型擅长生成具有清晰结构和模式的文本,科学摘要通常采用类似的格式,而且可能相当模糊。


Gao 说:“我们的审核员评论说,区分真假摘要非常困难。ChatGPT 生成的摘要非常有说服力……当编造数值时,它甚至知道患者群体应该有多大。”例如,一篇关于高血压的假摘要描述了一项有数万名参与者的研究,而一篇关于猴痘的研究涉及的患者则较少。


Gao 认为,像 ChatGPT 这样的工具将使靠出版研究成果获利的造纸厂更容易炮制虚假科学论文。她补充说,“如果其他人试图以这些不正确的研究为基础进行科学研究,那可能真的很危险”。


不过,使用这些工具也有好处。这项研究的合作者、芝加哥大学医学副教授 Alexander Pearson 说,它们可以帮助母语非英语的科学家更好地写作和分享他们的工作。


人工智能比人类更擅长检测机器文本。例如,免费的 GPT-2 输出检测器能够以超过 50% 的置信区间从 50 篇由语言模型生成的论文中猜出 33 篇。研究人员认为,提交的论文应该通过这些探测器的检测,科学家应该公开使用这些工具。


Gao 告诉 The Register,“我们在撰写自己的摘要或手稿时没有使用 ChatGPT,因为这是否可接受在学术界还没有清晰的边界。例如,国际机器学习大会已经制定了一项政策,禁止使用它,不过他们承认,讨论仍在继续,并澄清说,在‘编辑或打磨’时使用是可以的。”


不过,已经有一些团体开始使用它来辅助写作,有些人还把它列为合著者。我认为,使用 ChatGPT 来辅助写作是可以的,重要的是,这样做的时候要明确标示 ChatGPT 辅助编写的那部分手稿。我们将来使用或不使用 LLM 来辅助撰写论文,取决于科学界最终达成的共识。”


原文链接:


https://www.theregister.com/2023/01/11/scientists_chatgpt_papers/

2023-01-30 12:006111

评论 1 条评论

发布
用户头像
AI自动帮小学生写作业
2023-01-31 08:11 · 浙江
回复
没有更多了
发现更多内容

我坦白→低代码功能我有,SQL练习题、数据可视化、数据填充助你高效

非喵鱼

sql 低代码 可视化 eCharts 数据库·

惊喜来袭!阿里内部Java开发成长手册(2022纯享版)开源

程序知音

Java 阿里 java面试 后端技术 Java面试八股文

编程培训后程序员怎么提升自身开发水平?

小谷哥

一个深度学习框架的年度报告

MegEngineBot

深度学习 年终总结 MegEngine

【从零开始学爬虫】采集全国历史天气数据

前嗅大数据

数据采集 爬虫软件 爬虫教程 爬虫入门 爬虫入门教程

备受企业青睐的华为云CDN优势到底在哪?

路过的憨憨

Flink Shuffle 3.0: Vision, Roadmap and Progress

Apache Flink

大数据 flink 实时计算

模块二作业-分析微信朋友圈的高性能复杂度

Geek_e3a35c

前端开发培训机构有什么推荐?

小谷哥

Databend in 2022

Databend

10 万字节Spring Boot +redis详细面试笔记(带完整目录)免费分享

钟奕礼

程序员 Java 面试 Java、 java 编程

大数据培训学习有前途吗?

小谷哥

大数据培训后的就业因素有哪些

小谷哥

数据报告 | 美国民众健康状况和医疗需求研究报告

前嗅大数据

大数据 数据分析 数据报告

备受企业青睐的华为云CDN优势到底在哪?

路过的憨憨

开源全球公司贡献 49 名,涛思数据荣登 2022 中国开发者影响力年度榜单

TDengine

tdengine 时序数据库

【喜报】OpenCloudOS 荣获2022 中国技术力量年度榜单「十大开源新锐项目」

腾源会

开源 opencloudOS

建信信托真的可靠吗?投资者含泪控诉

鳄鱼视界

读书|我的2022年度阅读推荐

MavenTalker

推荐书单

MonographDB获得IT168“2022年度创新产品奖”

极客天地

华为云CDN提升网站响应速度,让下载快人一步

路过的憨憨

恭喜 KubeVela 获得中国开源云联盟 2022 “优秀开源项目”

阿里巴巴云原生

阿里云 开源 云原生 KubeVela

蚂蚁金服Java研发岗二面:说说HashMap 中的容量与扩容实现

钟奕礼

程序员 Java 面试 Java、 java 编程

既要速度与激情,也要稳定和安全,华为云CDN让你速度和安全兼得

路过的憨憨

2022年最全大厂面试真题解析:java集合+spring+并发编程+MyBatis

钟奕礼

程序员 Java 面试 Java、 java 编程

腾讯云在中国公有云开发和基础设施平台分析师报告中入选领导者阵营

科技热闻

女生通过java编程学习好找工作吗?

小谷哥

华为云CDN,助力安全企业下载服务,更好提升用户体验

路过的憨憨

华为云CDN加速服务,引领企业数字化发展潮流!

路过的憨憨

对标阿里P7:高并发+Nginx+微服务+消息中间件+Netty+Redis+MySQL

程序知音

Java 数据库 JVM 高并发 后端技术

科学家被ChatGPT骗了_AI&大模型_Katyanna Quach_InfoQ精选文章