写点什么

文本表示与文本生成模型新进展与应用

  • 2019-09-17
  • 本文字数:797 字

    阅读完需:约 3 分钟

文本表示与文本生成模型新进展与应用

AICon北京2018大会上,李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲,主要内容如下。


演讲简介


本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示,我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子,进而推广到一般受限文本生成。基于这些技术,我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言,拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。


演讲提纲:


  1. 写稿机器人概述

  2. 句子表示

  3. (1)上下文相关向量话表示 ELMo、GPT、BERT

  4. (2)树结构的神经网络句子表示

  5. 机器翻译中的词覆盖问题

  6. (1)词覆盖模型

  7. (2)Past-and-future 模型

  8. 受限文本生成

  9. (1)监督方法

  10. (2)非监督贝叶斯采样方法 CGMH

  11. (3)时间序列补全模型

  12. 应用介绍


听众收益:


  1. 了解机器写稿、文本生成和翻译的工业界应用

  2. 了解文本句子表示的最近一年新进展

  3. 了解文本生成中的监督和非监督方法


讲师介绍


李磊


字节跳动 人工智能实验室总监


李磊博士,字节跳动人工智能实验室总监,原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科,卡耐基梅隆大学计算机系博士,加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇,拥有三项美国技术发明专利,担任 CCF 中文信息处理专委委员,2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2018/beijing/#schedule


2019-09-17 13:591524

评论

发布
暂无评论
发现更多内容

产品经理第0期训练营作业(第一周)

Heracles

产品经理训练营

Prometheus 与 nodata 告警

OpsMind

Prometheus CMDB PromQL

架构的直观展示

鲁米

架构视图 4+1

产品经理训练营 0 期作业第一章作业

郭郭

ssh连接不上Linux怎么办

HKBGP

Linux

量化策略交易软件开发系统源码

四,编程范式

鲁米

编程范式

有原则,方得始终!

鲁米

SOLID 设计原则

四面字节跳动(已拿下1-2级offer):算法+JVM+线程池+数据库+spring+项目

Java 程序员 面试 科技

UML是表达思想的工具

鲁米

UML

极客时间产品经理训练营第一次作业

待注册

极客大学产品经理训练营

Nginx 最常用的两个功能:负载均衡和缓存

李尚智

Java nginx 架构 并发

合约跟单系统APP开发|合约跟单软件开发

系统开发

“战复不胜”的产品经理

产品经理训练营

产品手记--1

曦语

警惕!incaseformat蠕虫病毒来袭,23日还将爆发!

病毒云查杀

产品实战作业(Job Model)

晓豪

迷茫 产品经理训练营 BTA 邱岳

微众银行区块链:领跑产业应用落地 推进开源生态繁荣

CECBC

区块链技术

万字解释!在咸鱼被疯抢的网络协议核心彩板手册已曝光!

996小迁

Java 编程 架构 面试 网络协议

产品经理训练营 - 第一章 必做作业

Denny-xi

产品经理 产品经理新人如何落地 产品经理训练营

初探架构,随笔整理

鲁米

软件架构

对比:微服务VS单体架构

xcbeyond

微服务 单体架构 28天写作

数据产品经理公司要求对比分析

🙈🙈🙈

极客大学产品经理训练营

使用内存NewSQL数据平台来处理实时数据流的三个好处

VoltDB

Apache 数据库 sql VoltDB

40000美元之后,比特币高位震荡加剧,是买?是卖?还是持有?

CECBC

比特币

干货提炼|视觉小目标检测模型难点分析与突破

百度大脑

产品经理训练营Week1学习心得

Mai

Docker发布开发团队2021年三个首选方向;工信部印发《工业互联网创新发展行动计划(2021-2023 年)》

京东科技开发者

云计算

“公测”成绩亮眼 数字人民币有望重构支付体系

CECBC

数字红包

作业1

胡小湖

Redis 学习笔记 07:对象

架构精进之路

redis 七日更 28天写作

文本表示与文本生成模型新进展与应用_AICon_李磊_InfoQ精选文章