谷歌发布自然语言平台 LaMDA，新的基于 AI 的对话技术 | Google I/O 2021

美国时间 5 月 18 日，Google I/O 2021开发者大会正式开幕。去年，该会议因疫情取消，今年重新恢复并采用全程线上的形式，对所有开发者免费开放。在刚刚结束的主题演讲中，谷歌发布了 TPU V4 人工智能芯片、自然语言平台 LaMDA 以及一系列原有产品的更新升级。本文，我们将详细介绍谷歌翻译和自然语言平台 LaMDA 的主要特点。

谷歌总是对语言情有独钟。早期，谷歌就着手建立了翻译网络。近年来，谷歌开始利用机器学习技术更好地理解搜索查询的意图。随着时间的推移，谷歌在这些领域取得的进展使得用书面和口头语言组织和获取大量信息变得更加容易。

但是，技术总有改进的空间。语言具有显著的细微差别和适应性。它可以是字面的，也可以是语音的；可以是华丽的，也可以是朴素的；可以是创意性的，也可以是信息性的。这种多功能性使得语言成为人类最伟大的工具之一，也是计算机科学最难解决的问题之一。

作为最新的研究突破， LaMDA 为这个难题中最吸引人的部分增加了一些内容：对话。

尽管对话往往围绕特定主题进行，但是对话的开放性意味着对话可以从一个地方开始，到另一个完全不同的地方结束。和朋友聊到一个电视节目，可能会演变成一场关于这个节目拍摄国家的讨论，然后转而讨论这个国家最好的地方美食。

这种特性很快就会让现代对话智能体（通常被称为聊天机器人）陷入困境，因为它们经常遵循狭窄的预定路径。但是 LaMDA（Language Model for Dialogue Applications 的缩写，意为“对话应用语言模型”）能够以一种自由流动的方式讨论无止境的主题，我们认为，这一能力可以使与技术的交互更加自然，并提供一种全新类别的应用程序。

通向 LaMDA 的路道阻且长

LaMDA 的对话技能已经酝酿多年。与包括 BERT 和 GPT-3 在内的许多最新语言模型一样，它建立在 Transformer 上，这是由谷歌研究院发明并于 2017 年开源的一个神经网络架构。由这个架构生成的模型可以训练阅读许多单词（例如，一个句子或段落），注意这些单词之间的关系，然后预测它认为接下来会出现什么单词。

但与其他大多数语言模型不同的是，LaMDA 接受的是对话训练。在训练过程中，它发现一些区别于其他语言形式的开放式对话的细微差异。合理性是其中的一个细微差异。基本上是这样：对特定对话环境的反应是否具有意义？举例来说，如果有人说：

“I just started taking guitar lessons.”

你也许希望别人会这样回答：

“How exciting! My mom has a vintage Martin that she loves to play.”

从最初的陈述来看，这种回应是有意义的。但合理并非良好反应的唯一因素。毕竟，“that's nice” 这句话几乎是对任何陈述句的合理回应，正如 “I don't know” 是对大多数问题的合理回应一样。令人满意的答复通常也是具体的，与对话的上下文密切相关。在上面的例子中，回应是合理且具体的。

LaMDA 建立在谷歌 2020 年发表的早期研究之上，该研究表明，基于 Transformer 的语言模型经过对话训练，可以学会谈论几乎任何事情。此后，我们还发现，一旦经过训练，LaMDA 可以进行微调，从而大幅提高其反应的合理性和特异性。

目前还处于早期发展阶段，我们希望不久能有更多分享，但是合理性和特异性并非我们在 LaMDA 这样的模型中所寻求的唯一特性。通过评估回应是有洞察力的、意想不到的还是机智的，我们也在探索像“趣味性”这样的维度。谷歌也非常关注事实性（即 LaMDA 是否坚持事实，这是语言模型经常遇到的问题），并且正在研究如何确保 LaMDA 的反应不仅有说服力，而且正确。

但对于我们的技术，我们会问自己一个最重要的问题，那就是它们是否符合我们的人工智能原则。文字可能是人类最伟大的工具之一，但是和其他一切工具一样，它也会被滥用。这种滥用可以通过受过语言训练的模型来传播，例如，把偏见内化，反映出仇恨的言论，或者复制误导信息。尽管模型所训练的语言已经被仔细地审查过了，但模型本身仍有被滥用的危险。

在创建 LaMDA 这样的技术时，我们的首要任务是努力确保将这种风险降至最低。由于我们多年来致力于研究和发展这些技术，所以我们对机器学习模型所涉及到的问题非常熟悉。正因为如此，我们建立并开源资源和数据，让研究人员可以用来分析模型和训练模型；我们在 LaMDA 开发的每一个步骤都仔细检查过；我们承诺在更多产品中增加对话能力，所以我们会继续这样做。

作者介绍：

Eli Collins，谷歌产品管理副总裁。Zoubin Ghahramani，谷歌高级研究总监。

原文链接：

https://www.blog.google/technology/ai/lamda