InfoQ 编辑部出品——2021年度技术盘点与展望 了解详情
写点什么

谷歌发布自然语言平台 LaMDA,新的基于 AI 的对话技术 | Google I/O 2021

  • 2021 年 5 月 19 日
  • 本文字数:1807 字

    阅读完需:约 6 分钟

谷歌发布自然语言平台 LaMDA,新的基于AI的对话技术 | Google I/O 2021

美国时间 5 月 18 日,Google I/O 2021开发者大会正式开幕。去年,该会议因疫情取消,今年重新恢复并采用全程线上的形式,对所有开发者免费开放。在刚刚结束的主题演讲中,谷歌发布了 TPU V4 人工智能芯片、自然语言平台 LaMDA 以及一系列原有产品的更新升级。本文,我们将详细介绍谷歌翻译和自然语言平台 LaMDA 的主要特点。


谷歌总是对语言情有独钟。早期,谷歌就着手建立了翻译网络。近年来,谷歌开始利用机器学习技术更好地理解搜索查询的意图。随着时间的推移,谷歌在这些领域取得的进展使得用书面和口头语言组织和获取大量信息变得更加容易。



但是,技术总有改进的空间。语言具有显著的细微差别和适应性。它可以是字面的,也可以是语音的;可以是华丽的,也可以是朴素的;可以是创意性的,也可以是信息性的。这种多功能性使得语言成为人类最伟大的工具之一,也是计算机科学最难解决的问题之一。

 

作为最新的研究突破, LaMDA 为这个难题中最吸引人的部分增加了一些内容:对话。



尽管对话往往围绕特定主题进行,但是对话的开放性意味着对话可以从一个地方开始,到另一个完全不同的地方结束。和朋友聊到一个电视节目,可能会演变成一场关于这个节目拍摄国家的讨论,然后转而讨论这个国家最好的地方美食。

 

这种特性很快就会让现代对话智能体(通常被称为聊天机器人)陷入困境,因为它们经常遵循狭窄的预定路径。但是 LaMDA(Language Model for Dialogue Applications 的缩写,意为“对话应用语言模型”)能够以一种自由流动的方式讨论无止境的主题,我们认为,这一能力可以使与技术的交互更加自然,并提供一种全新类别的应用程序。

通向 LaMDA 的路道阻且长

 

LaMDA 的对话技能已经酝酿多年。与包括 BERT 和 GPT-3 在内的许多最新语言模型一样,它建立在 Transformer 上,这是由谷歌研究院发明并于 2017 年开源的一个神经网络架构。由这个架构生成的模型可以训练阅读许多单词(例如,一个句子或段落),注意这些单词之间的关系,然后预测它认为接下来会出现什么单词。

 

但与其他大多数语言模型不同的是,LaMDA 接受的是对话训练。在训练过程中,它发现一些区别于其他语言形式的开放式对话的细微差异。合理性是其中的一个细微差异。基本上是这样:对特定对话环境的反应是否具有意义?举例来说,如果有人说:

 

“I just started taking guitar lessons.”

 

你也许希望别人会这样回答:

 

“How exciting! My mom has a vintage Martin that she loves to play.”

 

从最初的陈述来看,这种回应是有意义的。但合理并非良好反应的唯一因素。毕竟,“that's nice” 这句话几乎是对任何陈述句的合理回应,正如 “I don't know” 是对大多数问题的合理回应一样。令人满意的答复通常也是具体的,与对话的上下文密切相关。在上面的例子中,回应是合理且具体的。

 

LaMDA 建立在谷歌 2020 年发表的早期研究之上,该研究表明,基于 Transformer 的语言模型经过对话训练,可以学会谈论几乎任何事情。此后,我们还发现,一旦经过训练,LaMDA 可以进行微调,从而大幅提高其反应的合理性和特异性。

 

目前还处于早期发展阶段,我们希望不久能有更多分享,但是合理性和特异性并非我们在 LaMDA 这样的模型中所寻求的唯一特性。通过评估回应是有洞察力的、意想不到的还是机智的,我们也在探索像“趣味性”这样的维度。谷歌也非常关注事实性(即 LaMDA 是否坚持事实,这是语言模型经常遇到的问题),并且正在研究如何确保 LaMDA 的反应不仅有说服力,而且正确。

 

但对于我们的技术,我们会问自己一个最重要的问题,那就是它们是否符合我们的人工智能原则。文字可能是人类最伟大的工具之一,但是和其他一切工具一样,它也会被滥用。这种滥用可以通过受过语言训练的模型来传播,例如,把偏见内化,反映出仇恨的言论,或者复制误导信息。尽管模型所训练的语言已经被仔细地审查过了,但模型本身仍有被滥用的危险。

 

在创建 LaMDA 这样的技术时,我们的首要任务是努力确保将这种风险降至最低。由于我们多年来致力于研究和发展这些技术,所以我们对机器学习模型所涉及到的问题非常熟悉。正因为如此,我们建立并开源资源和数据,让研究人员可以用来分析模型和训练模型;我们在 LaMDA 开发的每一个步骤都仔细检查过;我们承诺在更多产品中增加对话能力,所以我们会继续这样做。

 

作者介绍:

 

Eli Collins,谷歌产品管理副总裁。Zoubin Ghahramani,谷歌高级研究总监。

 

原文链接:

 

https://www.blog.google/technology/ai/lamda

2021 年 5 月 19 日 10:532244

评论 1 条评论

发布
用户头像
期待中文版的LaMDA,但是觉得很悬,因为汉语太不严谨了,非常开放。拭目以待吧。
2021 年 05 月 20 日 08:13
回复
没有更多了
发现更多内容

你了解集合?那你倒是给我说说啊!【3】

XiaoLin_Java

集合 java基础 1月月更

VuePress 博客优化之 last updated 最后更新时间如何设置

冴羽

JavaScript Vue 前端 博客 vuepress

洞态漏洞检出测试第二期:NoSQL & LDAP注入漏洞

火线安全

DevSecOps WEB安全 安全漏洞

区块链文创数字IP藏品平台赋能传统文化

135深圳3055源中瑞8032

粤、蒙、沪同步试点全电发票,数字化转型思路你拿捏了吗?

金小K

NFT元宇宙链游系统开发公司,技术搭建

NFT元宇宙平台开发

低代码平台对程序员有哪些好处?

J2PaaS低代码平台

跨越2021丨在逐梦中星夜兼程,在前行中不忘初心

APICloud

低代码

CVE-2021-32682 elFinder RCE 简单分析

H

网络安全 安全漏洞

重点关注人员联防联控系统开发,政法治安防控平台解决方案

135深圳3055源中瑞8032

年度盘点丨2021数字化转型优秀案例TOP10

ToB行业头条

为什么企业组织更愿意选择内部私有的IM,而不使用钉钉、微信等软件?

WorkPlus Lite

如何用建木CI部署k8s资源

Jianmu

Kubernetes DevOps CI/CD 开源项目

Flutter 压缩图像的最佳方式

坚果

flutter 1 月月更

NFT元宇宙3D虚拟空间app开发

NFT元宇宙平台开发

热门链游排行,仿盘主题开发定制,模型设计

NFT元宇宙平台开发

涨薪密码 | 音视频开发-程序员界的技术皇冠

Yt

音视频 WebRTC ffmpeg 流媒体 SRS流媒体服务器

从事【音视频】的开发者,看过来,如果记不住FFmepg命令,可以收藏,不记得的时候,掏出来翻翻

奔着腾讯去

c 音视频 ffmpeg

腾讯高工45天肝出Oracle与MySQL实战手册”看完真是大彻大悟

端端Java

MySQL oracle Java、

Java时间格式化原来这么多玩法

端端Java

谁说操作系统没有创新,这里就有一个,还是分布式的

LAXCUS分布云开发者社区

如何修改Kestrel上传文件的大小

喵叔

1月月更

公安合成作战指挥平台开发,情报研判动态分析系统建设方案

135深圳3055源中瑞8032

微信小程序与webview关于iphone X的兼容设置

💥 玩命不玩心💥

敏捷配置ERP系统

力软.net/java开发平台

政法委重点人员联防联控系统开发,重点人群管理服务平台建设

a13823115807

Mecha《机甲变形》NFT链游系统开发介绍,仿盘开发

NFT元宇宙平台开发

普通本科毕业一年,靠着这1000道JAVA面试题,终逆袭上岸

碌碌无为小码农

Java 面试 程序人生 编程语言 经验分享

Hoo虎符研究院 | 币海寻珠——即将初始发行Token区块链项目

区块链前沿News

Hoo 虎符交易所 初始发行

QCon-OPPO大规模CV预训模型技术及实践

OPPO数智技术

算法 计算机视觉 预训练模型

安全架构要参:构建企业适用的安全架构

I

安全架构 企业安全

ShadowRealm 与微前端沙箱

ShadowRealm 与微前端沙箱

谷歌发布自然语言平台 LaMDA,新的基于AI的对话技术 | Google I/O 2021-InfoQ