PCon全球产品创新大会最新日程上线,查看更多 了解详情
写点什么

谷歌发布自然语言平台 LaMDA,新的基于 AI 的对话技术 | Google I/O 2021

  • 2021 年 5 月 19 日
  • 本文字数:1807 字

    阅读完需:约 6 分钟

谷歌发布自然语言平台 LaMDA,新的基于AI的对话技术 | Google I/O 2021

美国时间 5 月 18 日,Google I/O 2021开发者大会正式开幕。去年,该会议因疫情取消,今年重新恢复并采用全程线上的形式,对所有开发者免费开放。在刚刚结束的主题演讲中,谷歌发布了 TPU V4 人工智能芯片、自然语言平台 LaMDA 以及一系列原有产品的更新升级。本文,我们将详细介绍谷歌翻译和自然语言平台 LaMDA 的主要特点。


谷歌总是对语言情有独钟。早期,谷歌就着手建立了翻译网络。近年来,谷歌开始利用机器学习技术更好地理解搜索查询的意图。随着时间的推移,谷歌在这些领域取得的进展使得用书面和口头语言组织和获取大量信息变得更加容易。



但是,技术总有改进的空间。语言具有显著的细微差别和适应性。它可以是字面的,也可以是语音的;可以是华丽的,也可以是朴素的;可以是创意性的,也可以是信息性的。这种多功能性使得语言成为人类最伟大的工具之一,也是计算机科学最难解决的问题之一。

 

作为最新的研究突破, LaMDA 为这个难题中最吸引人的部分增加了一些内容:对话。



尽管对话往往围绕特定主题进行,但是对话的开放性意味着对话可以从一个地方开始,到另一个完全不同的地方结束。和朋友聊到一个电视节目,可能会演变成一场关于这个节目拍摄国家的讨论,然后转而讨论这个国家最好的地方美食。

 

这种特性很快就会让现代对话智能体(通常被称为聊天机器人)陷入困境,因为它们经常遵循狭窄的预定路径。但是 LaMDA(Language Model for Dialogue Applications 的缩写,意为“对话应用语言模型”)能够以一种自由流动的方式讨论无止境的主题,我们认为,这一能力可以使与技术的交互更加自然,并提供一种全新类别的应用程序。

通向 LaMDA 的路道阻且长

 

LaMDA 的对话技能已经酝酿多年。与包括 BERT 和 GPT-3 在内的许多最新语言模型一样,它建立在 Transformer 上,这是由谷歌研究院发明并于 2017 年开源的一个神经网络架构。由这个架构生成的模型可以训练阅读许多单词(例如,一个句子或段落),注意这些单词之间的关系,然后预测它认为接下来会出现什么单词。

 

但与其他大多数语言模型不同的是,LaMDA 接受的是对话训练。在训练过程中,它发现一些区别于其他语言形式的开放式对话的细微差异。合理性是其中的一个细微差异。基本上是这样:对特定对话环境的反应是否具有意义?举例来说,如果有人说:

 

“I just started taking guitar lessons.”

 

你也许希望别人会这样回答:

 

“How exciting! My mom has a vintage Martin that she loves to play.”

 

从最初的陈述来看,这种回应是有意义的。但合理并非良好反应的唯一因素。毕竟,“that's nice” 这句话几乎是对任何陈述句的合理回应,正如 “I don't know” 是对大多数问题的合理回应一样。令人满意的答复通常也是具体的,与对话的上下文密切相关。在上面的例子中,回应是合理且具体的。

 

LaMDA 建立在谷歌 2020 年发表的早期研究之上,该研究表明,基于 Transformer 的语言模型经过对话训练,可以学会谈论几乎任何事情。此后,我们还发现,一旦经过训练,LaMDA 可以进行微调,从而大幅提高其反应的合理性和特异性。

 

目前还处于早期发展阶段,我们希望不久能有更多分享,但是合理性和特异性并非我们在 LaMDA 这样的模型中所寻求的唯一特性。通过评估回应是有洞察力的、意想不到的还是机智的,我们也在探索像“趣味性”这样的维度。谷歌也非常关注事实性(即 LaMDA 是否坚持事实,这是语言模型经常遇到的问题),并且正在研究如何确保 LaMDA 的反应不仅有说服力,而且正确。

 

但对于我们的技术,我们会问自己一个最重要的问题,那就是它们是否符合我们的人工智能原则。文字可能是人类最伟大的工具之一,但是和其他一切工具一样,它也会被滥用。这种滥用可以通过受过语言训练的模型来传播,例如,把偏见内化,反映出仇恨的言论,或者复制误导信息。尽管模型所训练的语言已经被仔细地审查过了,但模型本身仍有被滥用的危险。

 

在创建 LaMDA 这样的技术时,我们的首要任务是努力确保将这种风险降至最低。由于我们多年来致力于研究和发展这些技术,所以我们对机器学习模型所涉及到的问题非常熟悉。正因为如此,我们建立并开源资源和数据,让研究人员可以用来分析模型和训练模型;我们在 LaMDA 开发的每一个步骤都仔细检查过;我们承诺在更多产品中增加对话能力,所以我们会继续这样做。

 

作者介绍:

 

Eli Collins,谷歌产品管理副总裁。Zoubin Ghahramani,谷歌高级研究总监。

 

原文链接:

 

https://www.blog.google/technology/ai/lamda

2021 年 5 月 19 日 10:532273

评论 1 条评论

发布
用户头像
期待中文版的LaMDA,但是觉得很悬,因为汉语太不严谨了,非常开放。拭目以待吧。
2021 年 05 月 20 日 08:13
回复
没有更多了
发现更多内容

劳务派遣公司管理小程序开发

(王经理)专业app小程序开发

皇家家政小程序开发怎么做?

ALVIS

面试工长

escray

生活记录 8月日更 装修记

万题库小程序开发

(王经理)专业app小程序开发

驾校软件开发

(王经理)专业app小程序开发

美牙视界软件开发讲解

(王经理)专业app小程序开发

美健日纪系统开发怎么做??

ALVIS

茶酒交易小程序开发难吗??

ALVIS

课程管理APP开发难吗?

ALVIS

绿色篮子小程序开发

(王经理)专业app小程序开发

e家帮系统开发有哪些功能?

ALVIS

图书馆预约小程序开发多少钱?

ALVIS

网络攻防学习笔记 Day121

穿过生命散发芬芳

网络安全 8月日更

Filecoin未来会涨到多少?Filecoin挖矿现在入场合适吗?

区块链 分布式存储 IPFS fil大涨 filecoin挖矿

红色壹佰拼团小程序开发

(王经理)专业app小程序开发

爱购团购软件开发

(王经理)专业app小程序开发

题库答题软件开发

(王经理)专业app小程序开发

微商新零售模式开发怎么做???

ALVIS

美健日纪小程序开发定制

ALVIS

哒哒家政小程序开发多少钱?

ALVIS

绿色篮子APP怎么开发??

ALVIS

微商新零售小程序怎么开发??

ALVIS

绿袋环保小程序开发怎么样?

ALVIS

纷多多拼团小程序开发

ALVIS

财经大课:商业的边界

石云升

8月日更 财经思维

javaer 徒手撸一个 python 语言的分布式 rpc

awen

Python 微服务 RPC

小羽佳家政小程序开发

ALVIS

女巫面具APP开发是什么??

ALVIS

本夕生活小程序开发|快速搭建

ALVIS

商家入驻平台开发多少钱??

ALVIS

浪潮云说丨浪潮云IBP数据工场,打造行业数据基座

浪潮云

云计算

谷歌发布自然语言平台 LaMDA,新的基于AI的对话技术 | Google I/O 2021-InfoQ