阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

京东商城背后 AI 技术揭秘(一):基于关键词自动生成摘要

  • 2020-04-04
  • 本文字数:2802 字

    阅读完需:约 9 分钟

京东商城背后AI技术揭秘(一):基于关键词自动生成摘要

最近几年,AI 技术在电商领域的广泛运用已经彻底改变了传统的营销方式。在京东商城的【发现好货】频道,很多商品的营销文案都由京东自研的“商品营销内容 AI 写作服务”来生成,AI 能够针对不同群体采用不同营销策略及不同风格的营销文案从而提高营销转化率。


通过 AI 创作的数十万商品营销图文素材,不仅填补了商品更新与达人写作内容更新之间的巨大缺口,也提升了内容频道的内容丰富性。同时,AI 生成内容在曝光点击率、进商详转化率等方面其实都表现出了优于人工创作营销的内容。本文将介绍一种基于关键词指导的生成式句子摘要方法。


自动文本摘要(简称“自动文摘”)是自然语言处理领域中的一个传统任务,其提出于 20 世纪 50 年代。自动文摘任务的目标是对于给定的文本,获得一段包含了其中最重要信息的简化文本。常用的自动文摘方法包括抽取式自动文摘(Extractive Summarization) 和生成式自动文摘(Abstractive Summarization)。抽取式自动文摘通过提取给定文本中已存在的关键词、短语或句子组成摘要;生成式自动文摘通过对给定文本建立抽象的语意表示,利用自然语言生成技术,生成摘要。


本文所介绍的是基于关键词指导的生成式句子摘要方法,该方法融合了抽取式自动文摘和生成式自动文摘,在 Gigaword 句子摘要数据集上与对比模型相比,取得了更好的性能。



论文链接:http://box.jd.com/sharedInfo/B2234BB08E365EEC

生成式句子摘要

生成式句子摘要 (Abstractive Sentence Summarization) 任务的输入是一个较长的句子,输出是该输入句子的简化短句。


我们注意到,输入句子中的一些重要词语(即关键词)为摘要的生成提供了指导线索。另一方面,当人们在为输入句子创作摘要时,也往往会先找出输入句子中的关键词,然后组织语言将这些关键词串接起来。最终,生成内容不仅会涵盖这些关键词,还会确保其流畅性和语法正确性。我们认为,相较于纯粹的抽取式自动文摘和生成式自动文摘,基于关键词指导的生成式自动文摘更接近于人们创作摘要时的习惯。 



图 1:输入句和参考摘要之间的重叠关键词 (用红色标记) 涵盖了输入句的重要信息,我们可以根据从输入语句中提取的关键字生成摘要


我们举一个简单的句子摘要的例子。如图 1 所示,我们可以大致将输入句子和参考摘要的重叠的词(停用词除外)作为关键词,这些重叠的词语覆盖了输入句子的要点。例如,我们通过关键词“世界各国领导人”“关闭”和“切尔诺贝利” ,可以获取输入句子的主旨信息,即“世界各国领导人呼吁关闭切尔诺贝利”,这与实际的参考摘要 “世界各国领导人敦促支持切尔诺贝利核电站关闭计划。”是相吻合的。这种现象在句子摘要任务中很常见:在 Gigaword 句子摘要数据集上,参考摘要中的词语超过半数会出现在输入句子中。

模型概述

句子摘要任务的输入为一个较长的句子,输出是一个简短的文本摘要。我们的动机是,输入文本中的关键词可以为自动文摘系统提供重要的指导信息。首先,我们将输入文本和参考摘要之间重叠的词(停用词除外)作为 Ground-Truth 关键词,通过多任务学习的方式,共享同一个编码器对输入文本进行编码,训练关键词提取模型和摘要生成模型,其中关键词提取模型是基于编码器隐层状态的序列标注模型,摘要生成模型是基于关键词指导的端到端模型。关键词提取模型和摘要生成模型均训练收敛后,我们利用训练好的关键词提取模型对训练集中的文本抽取关键词,利用抽取到的关键词对摘要生成模型进行微调。测试时,我们先利用关键词提取模型对测试集中的文本抽取关键词,最终利用抽取到的关键词和原始测试集文本生成摘要。


1、多任务学习


文本摘要任务和关键词提取任务在某种意义上非常相似,都是为了提取输入文本中的关键信息。不同点在于其输出的形式:文本摘要任务输出的是一段完整的文本,而关键词提取任务输出的是关键词的集合。我们认为这两个任务均需要编码器能够识别出输入文本中的重要信息的能力。因此,我们利用多任务学习框架,共享这两个任务编码器,提升编码器的性能。


2、基于关键词指导的摘要生成模型


我们受 Zhou 等人工作(Zhou, Q.; Yang, N.; Wei, F.; and Zhou, M. 2017. Selective encoding for abstractive sentence summarization. In Proceedings of ACL, 1095–1104. 参考文件放到文章末尾)的启发,提出了一种基于关键词指导的选择性编码。具体来说,由于关键词含有较为重要的信息,通过关键词的指导,我们构建一个选择门网络,其对输入文本的隐层语义信息进行二次编码,构造出一个新的隐层。基于这个新的隐层进行后续的解码。


我们的解码器基于 Pointer-Generator 网络【See, A.; Liu, P. J.; and Manning, C. D. 2017. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL, 1073–1083.】,即融合了复制机制的端到端模型。对于 Generator 模块,我们提出直连、门融合和层次化融合的方式对原始输入文本和关键词的上下文信息进行融合;对于 Pointer 模块,我们的模型可以选择性地将原始输入和关键词中的文本复制到输出摘要中。

实验与分析

1、数据集


在本次实验中,我们选择在 Gigaword 数据集上进行实验,该数据集包含约 380 万个训练句子摘要对。我们使用了 8,000 对作为验证集,2,000 对作为测试集。


2、实验结果


表 1 显示了我们提出的模型比没有关键词指导的模型表现更好。我们测试了不同的选择性编码机制,分别是输入文本的自选择,关键词选择和互选择,实验结果显示互选择的效果最佳;对于 Generator 模块,我们发现层次化融合的方式要优于其他两种融合方式;我们的双向 Pointer 模块比原始的仅能从输入文本中复制的模型表现更好。


总结

本文致力于生成式句子摘要的任务,即如何将一个长句子转换成一个简短的摘要。我们提出的模型可以利用关键词作为指导,生成更加优质的摘要,获得了比对比模型更好的效果。


1)通过采用了多任务学习框架来提取关键词和生成摘要;


2)通过基于关键字的选择性编码策略,在编码过程中获取重要的信息;


3)通过双重注意力机制,动态地融合了原始输入句子和关键词的信息;


4)通过双重复制机制,将原始输入句子和关键词中的单词复制到输出摘要中。


在标准句子摘要数据集上,我们验证了关键词对句子摘要任务的有效性。


注释:


[1]  Zhou, Q.; Yang, N.; Wei, F.; and Zhou, M. 2017. Selective encoding for abstractive sentence summarization. In Proceedings of ACL, 1095–1104.


[2] See, A.; Liu, P. J.; and Manning, C. D. 2017. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL, 1073–1083.


如果想了解更多相关内容,可以关注京东智联云开发者公众号(ID:JDC_Developers)。 


作者介绍:


京东 AI 研究院专注于持续性的算法创新,多数研究将由京东实际的业务场景需求为驱动。研究院的聚焦领域为:计算机视觉、自然语言理解、对话、语音、语义、机器学习等实验室,已逐步在北京、南京、成都、硅谷等全球各地设立职场。


2020-04-04 15:056433

评论

发布
暂无评论
发现更多内容

性能测试中QPS取样器和RT取样器

FunTester

天翼云:加速推进云网融合共赢算力时代

天翼云开发者社区

大数据

RTE NG-Lab:一起探索下一代实时互动新世界

声网

NG-Lab 声网动态

OpenHarmony 技术日| 锻英才以应时需 协教育同繁生态

科技汇

求推荐一款免费的项目(OKR)管理系统?

优秀

OKR 项目管理系统

「Spring」@ConfigurationProperties——从基础到源码

Geek_rze78a

Java spring 源码

[Day25]-[二叉树]二叉搜索树中的插入操作

方勇(gopher)

LeetCode 二叉树 数据结构算法

最新云原生网络技术标准来了,为企业提供基础架构能力权威指南

York

架构 云原生 网络性能

直播预告丨Hello HarmonyOS进阶系列课程重磅来袭,4月27日开播

HarmonyOS开发者

HarmonyOS 智能家居 原子化服务

低代码在线文档 — VitePress网站生成

源字节1号

软件开发

直播回顾 | 看完这篇入门数仓研发,跑通复杂业务数据建模

个推

数据中台 数据仓库 数据建模 维度建模 范式建模

合作创新,携手共赢!共筑坚实数字底座!

天翼云开发者社区

系统

区块链行业一周热点回顾|马斯克回应狗狗创始人;虎符交易所回购HOO

区块链前沿News

马斯克 Hoo 虎符交易所 doge

linux之service命令

入门小站

Windows 11 修改 PIN 的长度为 4 位

HoneyMoose

云原生应用配置中心简述

穿过生命散发芬芳

4月月更

聊聊项目外包

石云升

创业 项目管理 职场经验 4月月更 项目外包

测试自动化最佳实践指南

阿里云云效

云计算 阿里云 测试 自动化测试 测试自动化

企评家|广州珐玛珈智能设备股份有限公司企业成长性报告简述

企评家

中国科技人,在残酷春天里翘首等待

白洞计划

开源社区问与答

CnosDB

IoT 时序数据库 开源社区 CnosDB infra

JWTToken在线编码生成

入门小站

工具

Android C++系列:string最佳实践

轻口味

c++ android 4月月更

OpenHarmony,一路前行,为了奇迹

脑极体

小程序赛道的发展,让智能电视业务发展如虎添翼

Speedoooo

小程序 物联网 IoT 小程序容器 智能电视

如何通过灵魂复盘大幅降低业务风险?

Samson

技术管理 复盘 事故 SRE 4月月更

全场景式全流程监控,博睿数据为券商IT运维难题提供了范例

博睿数据

企评家|国家电网有限公司成长性报告简述

企评家

企评家|天津三英精密仪器股份有限公司成长性报告简述

企评家

攻克编译器技术(1)

刘旭东

编译器 4月月更

在线Excel转TSV工具

入门小站

工具

京东商城背后AI技术揭秘(一):基于关键词自动生成摘要_AI&大模型_京东 AI 研究院_InfoQ精选文章