写点什么

阿里开源新一代人机对话模型 ESIM,曾创下人机对话准确率新纪录

2019 年 7 月 06 日

阿里开源新一代人机对话模型ESIM,曾创下人机对话准确率新纪录

阿里达摩院正式开源人机对话模型 ESIM

2018 年 5 月,阿里云栖大会武汉峰会上一段机器人点单的视频火了,阿里巴巴的收银机器人仅用了49秒就搞定了30多杯咖啡的订单


演示环节中,包含了修改、删除、加单等多轮对话,在整个交流过程中,顾客不需要说”hi,点单机“之类呆板的唤醒词,可直接下单,更符合人与人的自然对话。


这项技术的背后支撑,就是来自阿里巴巴达摩院的新一代人机对话模型 ESIM。


该模型最初由达摩院语音实验室内的 90 后科学家陈谦研发,曾在国际顶级对话系统评测大赛(DSTC7)上获得双料冠军,将人机对话准确率的世界纪录提升至 94.1%。


注:DSTC 是学术界权威对话系统评测大赛,由微软研究院、卡耐基梅隆大学的科学家在 2013 年发起,今年举办到了第八届。NOESIS 赛道考察 AI 的人机对话能力,要求 AI 根据给定的多轮人机对话历史,从成百到上万个句子中选出正确的回复。


今天,阿里达摩院宣布,即日起向全世界企业与个人开源 ESIM 模型。


GitHub 地址:https://github.com/alibaba/esim-response-selection


技术原理解析

人机对话系统及其背后的认知智能,是人机交互中最复杂也最重要的技术,曾被比尔盖茨形容为“人工智能皇冠上的明珠”。为让机器快速准确理解人类的表达,ESIM 给 AI 装上一套“雷达”系统,赋予它实时检索对话历史、自动去除干扰信息的能力,使它能够给出人类期待的回复。


ESIM 模型全称是:Enhanced LSTM for Natural Language Inference,是一种转为自然语言推断而生的加强版 LSTM,其架构图如下图所示(ESIM 是左边一部分):



ESIM 模型主要由 input encoding,local inference modeling 和 inference composition 三个部分组成,会直接对从用户的流式口语输入到对用户多个意图的最终理解进行建模,不再依赖子任务的模型和它们的级联,这样极大地减少了各个子任务之间的错误积累和传递。


大致流程是这样:


输入两句话分别接入 embeding + BiLSTM,使用 BiLSTM 可以学习如何表示一句话中的 word 和它上下文的关系,可以理解成这是在 word embedding 之后,在当前的语境下重新编码,得到新的 embeding 向量。



之后计算两个句子 word 之间的相似度,得到二维的相似度矩阵,再进行两句话的 local inference。用之前得到的相似度矩阵,结合 a,b 两句话,互相生成彼此相似性加权后的句子,维度保持不变,公式表示为:



在 local inference 之后,进行 Enhancement of local inference information,分别计算差与乘积,之后再进行聚合操作:



最后,再一次用 BiLSTM 提炼上下文信息,同时使用 MaxPooling 和 AvgPooling 进行池化操作, 再接入全连接层。



在架构上,该方案将算法和业务分离,使用业务知识图谱有效地表达业务相关的知识,利用序列到序列的深度学习模型自动学习出用户口语输入到意图结构化表达的映射关系,利用业务知识图谱表达业务逻辑,对于这个自动的映射学习模型进行强化学习以达到弱监督的目的。 这样一方面整个系统只需要少量端到端的数据标注进行训练,大大减少了标注压力; 另一方面由于知识图谱的松耦合度,使得扩展到新的业务变得更为便捷。


论文地址:https://arxiv.org/pdf/1901.02609.pdf


据阿里巴巴方面介绍,ESIM 人机对话回复模型,比起业界使用最为广泛的 LSTM 模型,回复准确率更高。采用全新 ESIM 模型的人机对话回复模型,比 LSTM 模型回复准确率提升 25%。


InfoQ 还了解到,该模型在对话领域的成功可以预计会给很多应用场景带来显著地变化,比如智能客服、任务型对话系统等等,这一技术突破能大幅地提升实际应用中对话系统回复的准确性和用户体验。


基于 ESIM 模型的多轮对话回复选择技术是语音交互的基础能力之一。在这些基础能力之上,阿里巴巴构建了一系列语音交互应用。


在传统语音交互产品方面,阿里云智能语音交互研究的技术平台能够精准转换用户的语音为对互联网内容和服务的意图,触达手机、IoT 设备、互联网汽车、电视、智能音箱等各类终端。


在下一代人机交互产品方面,阿里已经落地语音售票机,部署在上海地铁供市民使用;肯德基也与阿里云联合推出了一款全球领先的 AI 多场景智能点餐机,并已经率先在杭州云栖上岗服务。



2019 年 7 月 06 日 08:003903
用户头像
陈思 InfoQ编辑

发布了 575 篇内容, 共 203.4 次阅读, 收获喜欢 1179 次。

关注

评论 1 条评论

发布
用户头像
可否把天猫精灵先升下级,用习惯了还是很方便的
2019 年 07 月 06 日 12:18
回复
没有更多了
发现更多内容

VueRouter源码解读:三大核心模块构成

梁龙先森

源码分析 vue-router 前端进阶

ES9的新特性:异步遍历Async iteration

程序那些事

JavaScript ecmascript 程序那些事 es9

一加9pro联名哈苏了!这可能是你能买的平替哈苏

Geek_4a453c

Linux pwd 命令

一个大红包

Linux linux命令 4月日更

Windows 下 搭建 Flutter 环境

U+2647

flutter 四月日更

面试官:Java中线程是按什么顺序执行的?

华为云开发者社区

Java 线程 执行顺序 多线程并发

python 实现类属性的懒加载装饰器

一代咩神

Python 懒加载 类属性 描述器

新媒体时代,传统户外广告如何做出新花样

󠀛Ferry

四月日更

GaussDB(for openGauss)让数据“存得下、算得快、算得准”

华为云开发者社区

GaussDB(for openGauss) 华为云数据库 数据分布方式 计算下推 数据强一致

初识GaussDB(for Cassandra)

华为云开发者社区

数据安全 GaussDB 华为云数据库 GaussDB(for Cassandra) 分布式云数据库

修电脑、脱发、格子衫?程序员拒绝标签化,这才是真正的他们

华为云开发者社区

程序员 女朋友 标签 格子衫 单身狗

大屏数据看板一般都是通过什么实现的?看完你就知道了

一只数据鲸鱼

大数据 大屏可视化 智慧大屏可视化 3D可视化 3D数据可视化

Zabbix Linux 下源码安装

耳东

zabbix 4月日更

第一个 Go 程序

escray

go 极客时间 学习笔记 4月日更 Go100

Spring Boot 启动时,让方法自动执行的 4 种方法!

Java小咖秀

springboot 启动方式

聪明人的训练(十五)

Changing Lin

四月日更

直播 | 如何使用Ranger增强权限管理?

openLooKeng

大数据 数据分析 数据 Bigdata

ConcurrentHashMap 源码深度解析(java7)原来如此简单(写的真好,建议收藏)

徐同学呀

ConcurrentHashMap Java源码 JUC

ConcurrentHashMap源码深度解析(一)(java8)不可不知的基本概念(助你拿下源码事半功倍)

徐同学呀

ConcurrentHashMap Java源码 JUC

被应用商店下架的应用,该如何下载?

彭宏豪95

效率 App 苹果 4月日更

他人方寸间,山海几千重

清秋

随笔 4月日更 1 周年盛典 我和写作平台的故事

【LeetCode】打家劫舍 II Java题解

HQ数字卡

算法 LeetCode 4月日更

openLooKeng V1.2.0 发布

openLooKeng

大数据 数据 Bigdata

数据库存取策略对比

小舰

【4 月日更】

超详细 PowerDesigner 入门教学(项目数据库设计标准)

若尘

数据库 数据库设计

智慧公安重点人员管控系统搭建,实现重点人员动态管控

13828808769

智慧公安

算法突击营毕业总结

韩儿

区块链特色农产品溯源平台解决方案

13828808769

溯源 #区块链#

一直做着行业最“新”的尝试:NA(Nirvana)Chain受邀出席共为·创新大会并办展

区块链第一资讯

Python OpenCV 图像处理之直方图的应用,取经之旅第 26 天

梦想橡皮擦

Python OpenCV 4月日更

告别盗版、剽窃、洗稿,区块链赋能互联网内容创业健康发展

茜茜公主

四月日更

2021年全国大学生计算机系统能力大赛操作系统设计赛 技术报告会

2021年全国大学生计算机系统能力大赛操作系统设计赛 技术报告会

阿里开源新一代人机对话模型ESIM,曾创下人机对话准确率新纪录-InfoQ