“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

最强假新闻生成器 GPT-2 终于开源完整版本,15 亿参数模型全部公开

  • 2019-11-06
  • 本文字数:2765 字

    阅读完需:约 9 分钟

最强假新闻生成器GPT-2终于开源完整版本,15亿参数模型全部公开

时隔九个月,GPT-2 的阶段性开放终于进入尾声。北京时间 11 月 6 日,OpenAI 正式放出 GPT-2 最后一个部分的完整代码——包含 15 亿参数的最大版本。

按照 OpenAI 方面的说法:公开完整版本确实与模型滥用的调查结果有关。虽然经过多方求证发现,GPT-2 存在被极端组织恶意使用的可能,但是目前没有证据直接证明 GPT-2 已经遭到了滥用。

“最强 NLP 模型”GPT-2 完整开源

经历了被追捧为“最强 NLP 模型”、因为不开源遭到全网吐槽、宣布部分开源等一系列大事件之后,今天,OpenAI 终于公开了 GPT-2 最大最完整的15亿参数版本


照例先放上开源地址:https://github.com/openai/gpt-2


在此之前,OpenAI 已经发布了三种 GPT-2 模型:“小型的”1.24 亿参数模型(有 500MB 在磁盘上 ),“中型的”3.55 亿参数模型(有 1.5GB 在磁盘上 ),以及 7.74 亿参数模型(有 3GB 在磁盘上 )。


作为 GPT-2 分段发布中的最后一轮,此次公开的完整 GPT-2 包含 15 亿条参数,其中包含用于检测 GPT-2 模型输出的全部代码及模型权重。OpenAI 在官方博客上表示:


自今年 8 月以来,我们一直遵循初始分段发布计划,通过越来越大的语言模型帮助社区获取准确度更高的可测试案例。我们希望这一测试案例能够帮助开发人员构建起功能更强大的后续模型,同时也积极与 AI 社区就发布责任问题开展对话。


除此之外,OpenAI 还公布了有关 GPT-2 的一些新发现,其中包含了公众最为关心的滥用等问题。

有关 GPT-2 的新发现

  1. 人们发现 GPT-2 的输出质量令人信服。


作为合作伙伴,康奈尔大学的研究人员对 GPT-2 使用受众进行了调查,希望根据不同规模的模型版本为 GPT-2 生成文本进行质量评分。人们给 1.5B 模型给出的“可信度得分”为 6.91 分(满分 10 分),略高于此前的 774M 模型版本(6.72 分),同时大大高于更早的 335M 模型版本(6.07 分)。正因为评分逐步提升,OpenAI 才决定发布最终的 1.5B 模型,将完整的 GPT-2 展现在公众面前。


  1. GPT-2 经过微调后可能被滥用。


作为合作伙伴,米德尔伯里国际研究中心下辖的恐怖主义、极端主义与反恐中心(CTEC)研究人员们发现,极端主义团队可对 GPT-2 进行滥用,特别是结合四种意识形态立场对模型做出微调,分别为:白人至上主义、马克思主义、圣战伊斯兰主义以及无政府主义。


CTEC 的研究结果显示,微调后的模型足以为这些意识形态快速生成综合性宣传素材。他们还证明,尽管合成输出结果相当具有迷惑性,但基于 ML 的检测方法仍可帮助专家分辨出由 GPT-2 生成的伪造消息。


  1. 检测难度颇高。


OpenAI 认为,对基于内容的合成文本进行检测将是一项长期挑战。为了测试机器学习方法是否有助于解决这个难题,研究者进行了内部检测研究,并开发出一种检测模型。面对由 GPT-2 1.5B 生成的文本,这套模型能够带来 95%的检测成功率。(注 1)


具体来讲,OpenAI 选择立足 RoBERTaBASSE(1.25 亿条参数)与 RoBERTaLARGE(3.55 亿条参数)建立起序列分类器,并通过微调使其获得对 GPT-2 1.5B 模型与 WebText(用于训练 GPT-2 模型的数据集)输出结果的分类能力。


OpenAI 认为,对于单项检测而言,这样的准确率还无法令人满足,必须同时结合基于元数据的方法、人为判断以及常识教育才能进一步提高效果。为此,OpenAI 选择发布完整版模型,希望协助各方共同研究对合成文本的检测方法。当然,OpenAI 方面也承认全面发布同时也会让恶意人士有机会进一步提高检测逃避能力。


此外,OpenAI 发现,检测准确率在很大程度上取决于训练及测试中使用的具体采样方法,但同时,在使用多种采样技术进行训练时,检测结果将更加可靠。如下图所示,规模越大的模型,其输出结果越是难以分类。但是,利用这部分输出进行训练,则可提升检测结果的准确率与可靠性。OpenAI 预计这种趋势将长期存在,随着模型规模的增大,检测难度也将同步提升。



各模型版本检测准确率(核样本)


  1. 到目前为止,尚未发现明确的滥用迹象。


尽管 OpenAI 的研究人员已经围绕 GPT-2 在大规模生成垃圾邮件与网络钓鱼信息等高批量/低收益操作方面的潜力进行了讨论,但截至目前并未发现任何明确的代码、文档或者其他滥用实证。他们认为,随着合成许可证生成器在输出质量上的持续提升,遭到滥用的可能性确实会同步提高,同时也承认,OpenAI 无法及时发现所有潜在威胁,而有动机的参与者也不太可能发布自己的微调语言模型。


  1. 在偏见研究方面,需要建立标准。


语言模型永远存在偏见。对于 AI 研究界而言,为此类偏见制定出研究方法、开展讨论并加以解决已经成为一项重要但难以克服的挑战。OpenAI 通过以下两种方式尝试解决偏见难题:


  • 发布模型卡(注 2)

  • 这一模型卡以 Mitchell 等人提出的“用于模型报告的模型卡”理论为基础。

  • 我们同时在 GitHub 上发布模型代码,希望帮助大家对语言模型(例如 GPT-2)存在的固有问题建立理解。

  • 对 GPT-2 中存在的某些偏见做出内部定性评估:我们利用评估结果通过模型卡对 GPT-2 在性别、种族以及宗教方面的偏见作出探究。当然,这些调查并不全面,还需要配合其他偏见分析框架。

下一计划

OpenAI 在博客中表示:


过去九个月以来,我们在 GPT-2 开发方面的经验,帮助我们为 AI 模型负责任发布工作中存在的挑战与机遇建立起宝贵的见解。我们也参与到 Partnership on AI 的“机器学习负责任发布规范”项目当中,希望通过合作关系与研究界的同行们共同讨论,为解决模型发布问题贡献力量。

讨论仍在继续:GPT-2 好用吗?安全吗?

HackerNews 网站上,有关 GPT-2 的讨论一直没有停止。在 15 亿参数版本发布后,更多参与者加入了话题讨论


中。


目前的讨论者分为两个主要阵营:

尝鲜派:GPT-2 好用吗?在哪儿用?

这一类讨论者主要在研究 GPT-2 的实用性,一些开发者也附上了自己的做的测试模型,感兴趣的读者可以前去体验:


http://textsynth.org/


https://talktotransformer.com/


当然也有一些讨论者提出:GPT-2 开放代码的可读性较差,有不少意义不明的内容,在生成文本的时候,甚至会出现一些常识性的错误等等。这些问题让部分讨论者质疑 OpenAI 放出的有可能是微调过的“阉割版”。

激辩派:GPT-2 安全吗?

这一派讨论者主要将目光聚焦在 GPT-2 的安全性上。毕竟官方也已经承认:确实存在安全隐患。大部分讨论者的观点都认为:GPT-2 完全开放后,必然会引发一阵滥用风潮。其中不乏一些激进人士的观点。


AI 前线早先发布的一篇文章中,作者曾对 GPT-2 的威胁论进行过探究,他认为 GPT-2 被滥用的可能性遭到了过分夸张。当然,作者当时测试用的也并非是完整版本,不知道在使用过完整版一段时间后,他的看法会不会有所改变。

注释

  1. 具体来讲,OpenAI 立足 RoBERTaBASSE(1.25 亿条参数)与 RoBERTaLARGE(3.55 亿条参数)建立起序列分类器,并通过微调使其获得对 GPT-2 1.5B 模型与 WebText(用于训练 GPT-2 模型的数据集)输出结果的分类能力。

  2. 这一型卡以 Mitchell 等人提出的“用于模型报告的模型卡”理论为基础。


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-11-06 15:134783
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 261.1 次阅读, 收获喜欢 1293 次。

关注

评论

发布
暂无评论
发现更多内容

在 Rainbond 中一键安装高可用 Nacos 集群

北京好雨科技有限公司

开源 Kubernetes nacos PaaS rainbond

还搞不明白,一次性给你总结好网络层概念

华为云开发者联盟

网络协议 IP 网络层 组网

web前端培训-通过JS 可以读取电脑上所有数据

@零度

JavaScript 前端开发

Spark的job、stage和task的机制论述

编程江湖

java培训-Redis 原理与知识总结分享 不愁面试

@零度

redis JAVA开发

OpenHarmony标准设备应用开发(一)——HelloWorld

OpenHarmony开发者

Hello World ! OpenHarmony 标准设备

中科柏诚:用数字技术纾困解难,助力中小企业恢复成长活力

联营汇聚

【CI/CD研讨会报名,截止最后一天】全程参会,还有惊喜奖品等你拿!

龙智—DevSecOps解决方案

cicd 持续集成 jenkins CI/CD 持续发布

助力数字经济 明源云助力不动产行业打造数字新引擎

科技热闻

OceanBase 在证券行业基金资管场景落地实践与解决方案

OceanBase 数据库

证券 oceanbase

为什么要做等保二级,有什么好处?

行云管家

网络安全 等保 等保2.0

TDengine 在智慧矿山系统中的应用

TDengine

华为云GaussDB专家走进课堂,跟莘莘学子聊聊数据库

华为云开发者联盟

数据库 人才培养 华为云 GaussDB 华为云数据库

从0到100:基于微信小程序的羽毛球馆预约系统的开发笔记

CC同学

NetCore性能排查

神农写代码

给工厂做开发,竟然喝着咖啡听“交响”?

阿里云云效

云计算 阿里云 DevOps 研发 研发提效

想做好分布式架构?这个知识点一定要理解透!

博文视点Broadview

安利一个小众但实用的导航网站(推荐收藏)

小炮

导航网站

行业分析| 音视频呼叫邀请适用于多领域

anyRTC开发者

音视频 WebRTC 语音通话 视频通话 呼叫邀请

FabEdge V0.5.0 新特性:支持跨集群服务访问

BoCloud博云

开源 边缘计算 cncf

Java篇|忘记格式化代码,把女朋友鸽了

Jianmu

Java 自动化 持续集成 建木CI 格式化代码

TDengine 助力智慧燃气,支撑数百万智能终端的接入管理

TDengine

通过IPv6隧道实现天翼云云主机IPv4和IPv6双栈接入

天翼云开发者社区

网络

提高企业产品交付效率系列(1)—— 企业应用一键安装和升级

北京好雨科技有限公司

Kubernetes PaaS rainbond

提效24.3%!看OA预算管理系统的低代码开发实践

鲸品堂

低代码开发

教育行业可以用云管平台吗?有案例介绍吗?

行云管家

云计算 企业上云 云管平台 云管理

Apache Impala架构解析及与Hive、SparkSQL的性能比较

编程江湖

看完微信抢红包算法你就明白,为啥你不是手气最佳

华为云开发者联盟

算法 微信红包 手气最佳 剩余金额随机法 割线法

四大功能!带你初识 Fabric | 容器网络系列第2期

BoCloud博云

云原生 容器网络方案

2022年中国音频行业产品洞察分析

易观分析

音频体验 在线音频

“既要性能,也要安全”,这样的Rust,谁不喜欢!

非凸科技

rust 编程语言 软件开发 招聘

最强假新闻生成器GPT-2终于开源完整版本,15亿参数模型全部公开_AI&大模型_OpenAI官博_InfoQ精选文章