免费活动:声网/伴鱼/新东方技术大咖邀您参加实时音视频技术专场 了解详情
写点什么

1.6 万亿参数!谷歌训练一超级人工智能语言模型,相当于 9 个 GPT-3

2021 年 1 月 22 日

1.6 万亿参数!谷歌训练一超级人工智能语言模型,相当于9个GPT-3

参数是机器学习算法的关键。它们是模型的一部分,是从历史的训练数据中学到的。一般而言,在语言领域中,参数的数量和复杂度之间的相关性保持得非常好。举例来说,OpenAI 的 GPT-3,是有史以来训练过的最大的语言模型之一,就拥有 1750 亿个参数,它能够进行原始类比、生成食谱,甚至完成基本代码。


谷歌的研究人员开发出了一种基准测试方法,认为它能让他们训练出一个包含超过一万亿个参数的语言模型,这可能是迄今为止对这种相关性最全面的测试方法之一。他们表示,他们的 1.6 万亿参数模型,看起来是目前规模最大的,其速度比之前谷歌开发的最大语言模型(T5-XXL)提高了 4 倍。


正如研究人员在一篇详细介绍他们研究成果的论文中所指出的,大规模训练是获得强大模型的有效途径。在大数据集和参数数量的支持下,简单的架构超越了复杂的算法。但是,高效的大规模训练和密集的计算是关键。


正因为如此,研究人员才会追求所谓的 SwitchTransformer ——一种“稀疏激活”技术,即仅使用模型的权值子集,或仅转换模型中输入数据的参数。


Switch Transformer 建立在专家混合的基础上,这是 90 年代初首次提出的人工智能模型范式。大致的概念是,在一个更大的模型中保留多个专家,或者说是专门处理不同任务的模型,并且有一个“门控网络”为任何给定数据选择咨询哪些专家。


Switch Transformer 的新颖之处在于,它有效地利用了为密集矩阵乘法(广泛用于语言模型的数学运算)设计的硬件,如 GPU 和谷歌的张量处理单元(TPU)。


对于研究者来说,在分布式训练设置中,他们的模型会在不同的设备上拆分唯一的权重,这样权重就会随着设备数量的增加而增加,但是仍然可以管理每台设备的内存和计算轨迹。


其中一项实验,研究人员使用 32 个 TPU 内核对 Colossal Clean Crawled Corpus 预先训练出几种不同的 Switch Transformer 模型, Colossal Clean Crawled Corpus 是一组大小为 750 GB 的文本数据集,它们来自 Reddit、维基百科和其他网络资源。


研究人员为这些模型安排了任务,让它们预测那些 15% 的单词被掩蔽的段落中缺失的单词,以及其他一些挑战,例如通过检索文本来回答一系列日益困难的问题。


图片: https://uploader.shimo.im/f/cVuRzapGE2oAZNYS.png


研究人员声称,他们的 1.6 万亿参数模型(Switch-C),拥有 2048 名专家,显示出“完全没有训练不稳定性”,而更小的模型(Switch-XXL)包含 3950 亿个参数和 64 名专家。


但是,在一次基准测试中,Sanford Question Answering Dataset(SQuAD)的 Switch-C 的得分更低,只有 87.7;而 Switch-XXL 的得分为 89.6。研究人员将其归因于微调质量、计算要求和参数数量之间的关系不透明。


Switch Transformer 在这种情况下可以获得一些下游任务的收益。举例来说,据研究人员称,它在使用同样数量的计算资源的情况下,可以达到 7 倍以上的预训练速度,研究人员表示,可以用大的稀疏模型来创建更小的密集模型,对任务进行微调后,其质量可提高 30%。


其中一个测试是,Switch Transformer 模型被训练为在 100 多种不同的语言之间进行翻译,研究人员观察到 101 种语言“总体上都有提高”,91% 的语言的翻译速度是基准模型的 4 倍以上。


“尽管这项工作主要集中于极其庞大的模型,但是我们也发现,只需两个专家模型就可以提高性能,同时还可以在普通 GPU 或 TPU 的内存限制下轻松地进行拟合。”研究人员在论文中写道。“我们不能完全保持模型的质量,但是把稀疏的模型提炼成密集模型,可以达到 10 到 100 倍的压缩率,同时专家模型的质量提高约 30%。”


在未来的工作中,研究人员计划将 Switch Transformer 应用到“新的、跨不同模式”,包括图像和文本。他们认为,稀疏的模型可能会给不同媒体和多模态模型带来好处。


不幸的是,研究人员的工作没有考虑到这些大型语言模型在现实世界中的影响。语言模型经常会放大这些公共数据中编码的偏见;部分培训数据并非不常见,它们来自具有普遍性别、种族和宗教偏见的社区。


OpenAI 是一家人工智能研究公司,它指出,这可能导致把像“naughty”或“sucked”这样的词放在女性代词旁边,把“Islam”放在“terrorism”旁边。其他研究,英特尔、麻省理工学院以及加拿大人工智能项目 CIFAR 的研究人员在去年 4 月份发表了一份研究报告,报告指出,一些最流行的模型存在着很强的刻板印象,包括谷歌的 BERT 和 XLNet、OpenAI 的 GPT-2 和 Facebook 的 RoBERTa。


据 Middlebury Institute of International Studies 称,恶意行为者可能会利用这种偏见,通过传播错误信息、虚假信息和彻头彻尾的谎言来煽动不和谐,从而“使个人处于极端的极右思想和行为之中,成为暴力的个人”。


供参考 @mmitchell_ai 和我发现,九月份谷歌召开了一次关于 LLM 的会议,但是我们团队没有人被邀请或者知道这次会议。所以当他们决定在自己的 “操场”中做什么后,他们只希望人工智能的道德规范变成橡皮图章。https://t.co/tlT0tj1sTt— Timnit Gebru (@timnitGebru)2021 年 1 月 13 日


谷歌发布的机器学习研究的政策是否会在其中起到作用尚不清楚。去年年底,路透社报道说,该公司的研究人员在进行面部和情绪分析以及种族、性别或政治派别分类之前,现在需要咨询法律、政策和公关团队。


去年 12 月初,谷歌解雇了人工智能伦理学家 Timnit Gebru,据说部分原因是因为她的一篇关于大型语言模型的研究论文,其中讨论了这些模型的风险,包括其碳足迹对边缘群体的影响,以及持续存在的针对特定人群的性虐待语言、仇恨言论、微攻击、刻板印象和其他非人道主义语言的趋势。


作者介绍:


Kyle Wiggers,技术记者,现居美国纽约市,为 VentureBeat 撰写有关人工智能的文章。


原文链接:


https://venturebeat.com/2021/01/12/google-trained-a-trillion-parameter-ai-language-model/

2021 年 1 月 22 日 14:361530
用户头像
刘燕 InfoQ记者

发布了 575 篇内容, 共 180.8 次阅读, 收获喜欢 1102 次。

关注

评论

发布
暂无评论
发现更多内容

Live2D for Unity入门篇 4.x

波波

编程 游戏开发 Live2D Unity

从零开始制作一台计算机-概述

小兵

计算机基础

JAVA主流锁

颇风

Java 多线程

Spring Security 中的授权操作原来这么简单

江南一点雨

Java spring Spring Boot spring security

游戏夜读 | Two Sum问题的八个解

game1night

DDD 实践手册(番外篇: 事件风暴-概念)

Joshua

领域驱动设计 DDD 事件风暴 事件驱动 Event Storming

NIO看破也说破(四)—— Java的NIO

小眼睛聊技术

Java 学习 开源 架构 后端

MySQL事务解析

一个有志气的DB

MySQL 事务隔离级别 mysql事务

回“疫”录(20):世界从来不会欺负听话的人

小天同学

疫情 回忆录 现实纪录 纪实

Deno 入门手册:附大量 TypeScript 代码实例

寇云

node.js typescript

谈谈控制感(7):底线思维与控制感

史方远

职场 心理 成长

Kotlin 协程实践(2)之 异步和Callback地狱

陈吉米

Java kotlin 协程

Web3极客日报 #128

谢锐 | Frozen

区块链 开源 技术社区 Rebase Web3 Daily

ZooKeeper,到底如何选主?

奈学教育

换脸新潮流:BIGO风靡全球的人脸风格迁移技术

DT极客

半小时手工解决的活,让我意外学会了 python 的 pdfkit 库

Sicolas Flamel

Python python教程

给苹果提醒APP配个助手

BabyKing

提醒助手 TODO 奇妙清单 Reminders Helper

设计模式前传——为什么要学设计模式

海星

Java 面试 设计模式

程序员的晚餐 | 5 月 18 日 瓠子,年少时的味道

清远

美食

东哥和刘亦菲的故事

张利东

R

单核小鸡上的Minikube实践(一)

摩登土狗

Docker Linux DevOps k8s minikube

中小企业如何做运维自动化?

Spug运维

运维 spug 运维自动化 jenkins ansible

如何更自信的写作

七镜花园-董一凡

写作

Vue+SpringBoot+SpreadJS 实现的在线文档

Geek_Willie

Spring Boot Vue SpreadJS

产品周刊 | 第 15 期(20200517)

Herbert

产品 设计 产品经理 产品设计

识别代码中的坏味道(三)

Page

敏捷开发 面向对象 重构 代码质量 代码坏味道

重新强调完成的定义

Bob Jiang

Scrum 完成的定义 DoD definition of done

Web3极客日报#127

谢锐 | Frozen

区块链 开源 技术社区 Rebase Web3 Daily

Redis缓存三大问题

Bruce Duan

redis 缓存穿透 缓存击穿 缓存雪崩

Kafka系列第7篇:你必须要知道集群内部工作原理的一些事!

z小赵

大数据 kafka 实时计算

npm下载electron缓慢的问题

玏佾

npm Electron

边缘计算隔离技术的挑战与实践

边缘计算隔离技术的挑战与实践

1.6 万亿参数!谷歌训练一超级人工智能语言模型,相当于9个GPT-3-InfoQ