限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

谷歌发布自然语言平台 LaMDA,新的基于 AI 的对话技术 | Google I/O 2021

  • 2021-05-19
  • 本文字数:1807 字

    阅读完需:约 6 分钟

谷歌发布自然语言平台 LaMDA,新的基于AI的对话技术 | Google I/O 2021

美国时间 5 月 18 日,Google I/O 2021开发者大会正式开幕。去年,该会议因疫情取消,今年重新恢复并采用全程线上的形式,对所有开发者免费开放。在刚刚结束的主题演讲中,谷歌发布了 TPU V4 人工智能芯片、自然语言平台 LaMDA 以及一系列原有产品的更新升级。本文,我们将详细介绍谷歌翻译和自然语言平台 LaMDA 的主要特点。


谷歌总是对语言情有独钟。早期,谷歌就着手建立了翻译网络。近年来,谷歌开始利用机器学习技术更好地理解搜索查询的意图。随着时间的推移,谷歌在这些领域取得的进展使得用书面和口头语言组织和获取大量信息变得更加容易。



但是,技术总有改进的空间。语言具有显著的细微差别和适应性。它可以是字面的,也可以是语音的;可以是华丽的,也可以是朴素的;可以是创意性的,也可以是信息性的。这种多功能性使得语言成为人类最伟大的工具之一,也是计算机科学最难解决的问题之一。

 

作为最新的研究突破, LaMDA 为这个难题中最吸引人的部分增加了一些内容:对话。



尽管对话往往围绕特定主题进行,但是对话的开放性意味着对话可以从一个地方开始,到另一个完全不同的地方结束。和朋友聊到一个电视节目,可能会演变成一场关于这个节目拍摄国家的讨论,然后转而讨论这个国家最好的地方美食。

 

这种特性很快就会让现代对话智能体(通常被称为聊天机器人)陷入困境,因为它们经常遵循狭窄的预定路径。但是 LaMDA(Language Model for Dialogue Applications 的缩写,意为“对话应用语言模型”)能够以一种自由流动的方式讨论无止境的主题,我们认为,这一能力可以使与技术的交互更加自然,并提供一种全新类别的应用程序。

通向 LaMDA 的路道阻且长

 

LaMDA 的对话技能已经酝酿多年。与包括 BERT 和 GPT-3 在内的许多最新语言模型一样,它建立在 Transformer 上,这是由谷歌研究院发明并于 2017 年开源的一个神经网络架构。由这个架构生成的模型可以训练阅读许多单词(例如,一个句子或段落),注意这些单词之间的关系,然后预测它认为接下来会出现什么单词。

 

但与其他大多数语言模型不同的是,LaMDA 接受的是对话训练。在训练过程中,它发现一些区别于其他语言形式的开放式对话的细微差异。合理性是其中的一个细微差异。基本上是这样:对特定对话环境的反应是否具有意义?举例来说,如果有人说:

 

“I just started taking guitar lessons.”

 

你也许希望别人会这样回答:

 

“How exciting! My mom has a vintage Martin that she loves to play.”

 

从最初的陈述来看,这种回应是有意义的。但合理并非良好反应的唯一因素。毕竟,“that's nice” 这句话几乎是对任何陈述句的合理回应,正如 “I don't know” 是对大多数问题的合理回应一样。令人满意的答复通常也是具体的,与对话的上下文密切相关。在上面的例子中,回应是合理且具体的。

 

LaMDA 建立在谷歌 2020 年发表的早期研究之上,该研究表明,基于 Transformer 的语言模型经过对话训练,可以学会谈论几乎任何事情。此后,我们还发现,一旦经过训练,LaMDA 可以进行微调,从而大幅提高其反应的合理性和特异性。

 

目前还处于早期发展阶段,我们希望不久能有更多分享,但是合理性和特异性并非我们在 LaMDA 这样的模型中所寻求的唯一特性。通过评估回应是有洞察力的、意想不到的还是机智的,我们也在探索像“趣味性”这样的维度。谷歌也非常关注事实性(即 LaMDA 是否坚持事实,这是语言模型经常遇到的问题),并且正在研究如何确保 LaMDA 的反应不仅有说服力,而且正确。

 

但对于我们的技术,我们会问自己一个最重要的问题,那就是它们是否符合我们的人工智能原则。文字可能是人类最伟大的工具之一,但是和其他一切工具一样,它也会被滥用。这种滥用可以通过受过语言训练的模型来传播,例如,把偏见内化,反映出仇恨的言论,或者复制误导信息。尽管模型所训练的语言已经被仔细地审查过了,但模型本身仍有被滥用的危险。

 

在创建 LaMDA 这样的技术时,我们的首要任务是努力确保将这种风险降至最低。由于我们多年来致力于研究和发展这些技术,所以我们对机器学习模型所涉及到的问题非常熟悉。正因为如此,我们建立并开源资源和数据,让研究人员可以用来分析模型和训练模型;我们在 LaMDA 开发的每一个步骤都仔细检查过;我们承诺在更多产品中增加对话能力,所以我们会继续这样做。

 

作者介绍:

 

Eli Collins,谷歌产品管理副总裁。Zoubin Ghahramani,谷歌高级研究总监。

 

原文链接:

 

https://www.blog.google/technology/ai/lamda

2021-05-19 10:534862

评论 1 条评论

发布
用户头像
期待中文版的LaMDA,但是觉得很悬,因为汉语太不严谨了,非常开放。拭目以待吧。
2021-05-20 08:13
回复
没有更多了
发现更多内容

文本智能的未来发展方向

百度开发者中心

AIGC #人工智能 生成式AI 文心一言

采用Excel作为可视化设计器的开源规则引擎 NopRule

canonical

低代码 规则引擎 可视化开发 可逆计算 Nop平台

9月23-24日·上海线下·CSM认证周末班【提前报名特惠】“全球金牌课程”CST导师亲授

ShineScrum

数据通信网络之OSPFv3基础

timerring

数据通信网络

玖章算术叶正盛将揭示为什么PostgreSQL不如MySQL流行?|3306π

NineData

数据库 postgresql 开源 叶正盛 NineData

室内LED全彩显示屏P3和P5有什么区别

Dylan

LED 全彩LED显示屏 led显示屏厂家 户内led显示屏

离散性行业介绍及与MES系统的好处

万界星空科技

MES系统 产品资讯

冰火两重天——GTLC有感

IT民工大叔

个人成长 GTLC 技术领导力

对线面试官 - 绝无仅有真实线上问题排查面试题突击篇

派大星

Java 面试题

ARTS week4

Z.

ARTS 打卡计划 #ARTS 左耳朵耗子

极光笔记 | 推送服务数据中心选择:合规性与传输效率的双重考量

极光GPTBots-极光推送

领域驱动设计(DDD):DDD落地问题和一些解决方法

付威

Spring 条件注解没生效?咋回事

江南一点雨

Java spring

3天上手Ascend C编程丨通过Ascend C编程范式实现一个算子实例

华为云开发者联盟

人工智能 开发 华为云 华为云开发者联盟 企业号9月PK榜

火山引擎DataLeap的数据血缘用例与设计概述

字节跳动数据平台

大数据 企业号9月PK榜

人工智能新范式,创新驱动生产力

百度开发者中心

#人工智能 ChatGPT 文心一言

构建值得信赖的生成式AI应用

百度开发者中心

#人工智能 生成式AI 文心一言

S0001-大环境介绍

远观钱途

当今怎么还沿用水晶头呢?

小齐写代码

谷沁清益生菌清口含片,守护口腔健康的第一道防线

联营汇聚

当红语言模型利器:深度解析向量数据库技术及其应用

Baihai IDP

人工智能 AI 向量数据库 白海科技 大语言模型

基于 Flink CDC 高效构建入湖通道

Apache Flink

大数据 flink 实时计算

“价值交付课程”11月4-5日 · CSPO认证周末班【提前报名特惠】CST导师亲授

ShineScrum

这一次,大模型颠覆广告行业!

Openlab_cosmoplat

人工智能 大模型

DevSecOps 中的漏洞管理(下)

禅道项目管理

DevOps 漏洞

谷歌发布自然语言平台 LaMDA,新的基于AI的对话技术 | Google I/O 2021_AI&大模型_Geek_5fu8vr_InfoQ精选文章