写点什么

NLP 带来的“科幻感”超乎你的想象 | 京东 ACL2020 论文解读

  • 2020-05-09
  • 本文字数:2701 字

    阅读完需:约 9 分钟

NLP带来的“科幻感”超乎你的想象 | 京东ACL2020论文解读

近些年,人工智能无疑是信息技术领域最热门的技术之一。人工智能战胜世界围棋冠军、人工智能战胜游戏高手、人工智能医生看病会诊……不断进步的科技正推动着人工智能从一个无法实现的幻想,不断突破人类的想象,完成一个又一个挑战。

AI 写科幻剧本?科幻小说都不敢写

2018 年,在全球科幻电影节( Sci-Fi London Film Festival)上的一项名为“48 小时内电影创作挑战”(SFL 48 Hour Film Challenge)的活动中,来自纽约的导演 Oscar Sharp 和他在纽约大学 AI 研究院的同事 Ross Goodwin 利用人工智能(这套人工智能称自己为 Benjamin)创作出了一个剧本,并在 48 小时内将这个剧本拍摄出来了。虽然电影只有短短 9 分钟,但这也是世界上第一部由 AI 创作并拍摄出来的电影,这在以前是科幻小说都不敢写的故事。在此之后,人工智能在电影业中不断得到更多落地应用。现在,使用机器编写剧本的想法正在受到如 Netflix、Hulu、好莱坞等世界级影视科技公司的青睐。


人工智能剧本创作的关键技术—自然语言生成

而在使用人工智能进行影视剧本创作中,NLP 领域的自然语言生成技术是其中的关键技术之一。


但自然语言生成技术的应用场景和研究意义远不止于影视剧本创作。在电商场景下,可用于营销内容生成以及面向复杂问题回答与人机交互的自动文本生成;融媒体场景下,结合文本与语音合成技术可应用于新闻自动播报、直播文字、多语言/跨语言自动文摘。


相关内容可点击查看:


➡️京东商城背后AI技术揭秘(一)——基于关键词自动生成摘要


➡️京东商城背后AI技术揭秘(二)——基于商品要素的多模态商品摘要

NLP 最高级别学术认可— ACL 论文收录

近日,ACL 2020 公布了今年大会的论文录用结果。ACL 会议是 NLP 领域级别最高的国际学术会议,致力于推动自然语言处理相关研究的发展和国际学术交流。


根据官方公布的数据,本届大会共收到 3429 篇投稿论文,投稿数量创下了所有 ACL 旗下会议新高。ACL  除了在国际 AI 学界具有顶级影响力外,其审稿规范和审稿质量,也是当今 AI 领域国际顶级会议中公认的翘楚,论文被录取的难度十分高。以 2019 ACL 为例,论文录取率仅为 22.7% 。因此,研究论文能够被 ACL 录用,不仅意味着研究成果得到了国际学术界的认可,也证明了研究本身在实验严谨性、思路创新性等方面的实力。


京东 AI 研究院专注于持续性的算法创新,80% 的研究都由京东实际的业务场景需求为驱动,聚焦 NLP 语音、计算机视觉、机器学习(包括深度学习和强化学习)等领域。在 ACL 2020 中,京东 AI 研究院提交的多篇论文经过重重审核,最终被大会收录。


今天,我们就将为大家解读其中的一篇:Self-Attention  Guided  Copy Mechanism for  Abstractive  Summarization


论文对现有自动文摘的研究方法进行了优化,使通过该新模型生成的摘要内容更加精确。

论文解读

摘要

自动文本摘要(简称“自动文摘”)是自然语言处理领域中的一个传统任务,其目的是为输入文本生成一段简化文本。常用的自动文摘方法包括抽取式自动文摘(Extractive Summarization)和生成式自动文摘(Abstractive Summarization)。抽取式自动文摘方法抽取输入文本中的原始句子组成摘要;生成式自动文摘方法利用自然语言生成技术生成摘要。


自动文摘模型的关键是准确识别出输入文本中的重要信息,并输出涵盖这些信息的流畅文本。抽取式自动文摘方法可以显式的对输入文本的每个句子的重要性进行建模,但是输出的摘要是通过拼接句子构成的,句间的流畅性无法得到保证。生成式自动文摘方法通常可以输出较为流畅的摘要,但是有时无法完全准确捕捉到输入文本中的重要的信息。


本文所介绍的是自动文摘模型提出了一种自注意力(Self-Attention)指导的复制机制,该方法融合了抽取式自动文摘方法和生成式自动文摘方法,在多个文本摘要数据集上取得了比对比模型更好的性能。


我们首先介绍一下一些相关背景知识,包括自注意力机制,复制机制和抽取式自动文摘方法 TextRank 算法。

算法及模型

《Attention is all you need》提出了基于自注意力机制的 Transformer 框架,在机器翻译任务上超过了当时其他的模型。简单来说,自注意力机制将文本中的词两两计算相似度,然后对这些相似度进行归一化得到权重矩阵,最后将这些权重和相应的词进行加权求和得到下层的隐层表达。


复制机制是自动文摘模型中的一个常用机制。传统的文本生成在计算生成每个词的概率时,所有的词被限制在一个固定大小的词表中,即生成的词必须来自于这个固定大小的词表。复制机制除了会在这个固定大小的词表中生成某个词,还会选择性的在输入文本中选择一个词,这个词不受词表限制。复制机制实际上和人类在做摘要时的逻辑相吻合,即输入文本中的某些词,尤其是那些关键词,组成了这个文本的主干。我们只需要将这些关键词从输入中“复制”到输出中,然后再做一个适当的加工,使输出的摘要更加自然。复制机制的动机就是自动识别出这些关键词,然后将其“复制”到输出摘要中。TextRank 算法一种基于图模型的经典抽取式自动文摘方法,其基本思想来源于谷歌的 PageRank 算法。TextRank 算法通常会把输入文本分割成若干基本单元并建立图模型, 利用基本单元间关系组成的邻接矩阵进行随机游走,获得各基本单元的入度中心度得分,基于该得分可以对文本基本单元进行排序。


回到主线,本文提出的模型是基于自注意力机制的 Transformer 模型,并融入了复制机制,即每个词的输出概率为生成概率和复制概率的加权相加:   



其中 



 为生成模式的权重



为生成概率


为复制概率,本文采用了编码器-解码器之间的注意力权重



  作为复制概率:  



其中



 是解码器时刻的隐层状态,



是编码器第个输入对应的隐层状态,



为隐层状态维度


上文提到,自动文摘模型希望通过复制机制将输入文本中的重要词复制到输出中,但由于使用注意力权重作为复制概率,并不能显式地识别出哪些词是重要的词。我们需要找到一个合适的方式显式地为输入文本中的词的重要性进行打分,进而指导模型的复制机制,改善复制的效果。TextRank 算法利用邻接矩阵计算输入文本中每个词的重要性得分。


我们注意到,Transformer 模型的自注意力机制提供了输入文本中的词两两之间的权重,该权重矩阵可以作为 TextRank 算法的邻接矩阵。基于这个邻接矩阵,通过随机游走,我们可以得到输入文本中的词的入度中心度得分,以此作为词的重要性得分



进而指导复制概率,公式如下:



此外,我们还尝试了利用出度中心度得分指导复制概率的方法。


进一步地,我们还将  加入到损失函数中,使重要的词得到模型足够的“重视”,即:


原始的损失函数为:



我们改进的损失函数为:


实验结果

我们提出的模型在文本摘要数据集 CNN/DailyMail 和 Gigaword 上取得了比对比模型更好的性能。


CNN/DailyMail数据集实验结果对比


Gigaword数据集实验结果对比


2020-05-09 07:003443

评论

发布
暂无评论
发现更多内容

详细架构设计文档

刘丽

如何下载YouTube视频/影片(4K画质)

资源君

分享 经验分享 youtube视频下载 工具分享 教程分享

程序员面试时自称字节跳动工作两年,被发现学历造假,结果蒙了!

Go 语言的信号式抢占原理

Xargin

后端 Go 语言 系统编程

掌握这些核心算法,拿不到10+个offer你来找我,我锤飞你个不争气的

北游学Java

Java 算法

PancakeSwap交易所做市机器人|交易所画K线机器人

Geek_23f0c3

交易所机器人 pancakeswap 做市机器人

加码物联网安全,熵核科技做终端安全的守护者

熵核科技

DEMO CHINA带着1000+投资人,500+好项目首登重庆

创业邦

创业 投资

海归硕士程序员吐槽:回国一个月都没找到工作,我书都白读了?

别人都在谈爱琴海,凭什么程序员就“地中海”网友:还是太优秀!

Tensorflow for Java + Spark-Scala分布式机器学习计算框架的应用实践

Qunar技术沙龙

机器学习 tensorflow spark 后端 分布式计算

spring,springboot,底层原理解析

java小李

关于程序猿的28个经典段子

程序员崩溃的40个瞬间!最后一个是你意想不到的.....

NGINX社区线下Meetup第三期成功举办 感受成都开发者们的NGINX热情

爱极客侠

时序数据库助力安全监控

greatersecurity

为什么双赞安卓ARM工控主板应用前景那么好?

双赞工控

一种Vue应用程序错误/异常处理机制

devpoint

Vue 异常处理 vue2 7月日更

毕业总结

菲尼克斯

架构实战营

2021- iOS开发者一份你一定会被问到的面试题(附参考答案)

iOSer

ios 面试 ios开发 iOS 知识体系

2021年FiL最新消息:fil值得投资吗?

区块链 IPFS fil fil矿机 fil行情

粉了!京东商城核心亿级流量并发Java系统架构设计方案手册

Java架构追梦

Java 架构 面试 高并发 京东

程序员小哥月入5万,却被丈母娘拒绝,丈母娘一番话让小哥很尴尬

【云厂商】部分知名云服务商名单

行云管家

云计算 公有云 云服务 私有云 云厂商

Baetyl邀你来战EdgeX中国挑战赛!

百度开发者中心

人工智能 最佳实践 物联网

关于体验设计的十大重要定律

石云升

读书笔记 用户体验 商业洞察 7月日更 体验设计

学生管理系统详细架构设计文档

张文龙

#架构实战营

网络攻防学习笔记 Day86

穿过生命散发芬芳

网络攻防 7月日更

模块三作业

king

《面试八股文》之 Redis 16卷

moon聊技术

redis 面试

CODING 携手 CoDesign:让设计与开发更简单

CODING DevOps

DevOps 设计 开发工具 CoDesign

NLP带来的“科幻感”超乎你的想象 | 京东ACL2020论文解读_AI&大模型_京东AI研究院_InfoQ精选文章