文本表示与文本生成模型新进展与应用

在AICon北京2018大会上，李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲，主要内容如下。

演讲简介：

本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示，我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子，进而推广到一般受限文本生成。基于这些技术，我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言，拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。

演讲提纲：

1. 写稿机器人概述

2. 句子表示

3. （1）上下文相关向量话表示 ELMo、GPT、BERT

4. （2）树结构的神经网络句子表示

5. 机器翻译中的词覆盖问题

6. （1）词覆盖模型

7. （2）Past-and-future 模型

8. 受限文本生成

9. （1）监督方法

10. （2）非监督贝叶斯采样方法 CGMH

11. （3）时间序列补全模型

12. 应用介绍

听众收益：

1. 了解机器写稿、文本生成和翻译的工业界应用

2. 了解文本句子表示的最近一年新进展

3. 了解文本生成中的监督和非监督方法

讲师介绍：

李磊

字节跳动 人工智能实验室总监

李磊博士，字节跳动人工智能实验室总监，原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科，卡耐基梅隆大学计算机系博士，加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇，拥有三项美国技术发明专利，担任 CCF 中文信息处理专委委员，2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。

完整演讲 PPT 下载链接：

https://aicon.infoq.cn/2018/beijing/#schedule