写点什么

文本表示与文本生成模型新进展与应用

  • 2019-09-17
  • 本文字数:797 字

    阅读完需:约 3 分钟

文本表示与文本生成模型新进展与应用

AICon北京2018大会上,李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲,主要内容如下。


演讲简介


本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示,我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子,进而推广到一般受限文本生成。基于这些技术,我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言,拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。


演讲提纲:


  1. 写稿机器人概述

  2. 句子表示

  3. (1)上下文相关向量话表示 ELMo、GPT、BERT

  4. (2)树结构的神经网络句子表示

  5. 机器翻译中的词覆盖问题

  6. (1)词覆盖模型

  7. (2)Past-and-future 模型

  8. 受限文本生成

  9. (1)监督方法

  10. (2)非监督贝叶斯采样方法 CGMH

  11. (3)时间序列补全模型

  12. 应用介绍


听众收益:


  1. 了解机器写稿、文本生成和翻译的工业界应用

  2. 了解文本句子表示的最近一年新进展

  3. 了解文本生成中的监督和非监督方法


讲师介绍


李磊


字节跳动 人工智能实验室总监


李磊博士,字节跳动人工智能实验室总监,原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科,卡耐基梅隆大学计算机系博士,加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇,拥有三项美国技术发明专利,担任 CCF 中文信息处理专委委员,2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2018/beijing/#schedule


2019-09-17 13:591560

评论

发布
暂无评论
发现更多内容

MySQL进阶(一)主外键讲解

No Silver Bullet

MySQL 数据库 7月月更 主外键

双目立体匹配之视差优化

秃头小苏

7月月更 双目立体匹配

数据仓库分层——DWD DWS ADS傻傻分不清楚

怀瑾握瑜的嘉与嘉

数据仓库 7月月更

某易跟帖频道,接口溯源分析,反爬新技巧,必掌握一下

梦想橡皮擦

Python 爬虫 Python爬虫 7月月更

Hexo在github上构建的博客

沃德

程序员 Hexo 博客 7月月更

解决浏览器回退表单重复提交问题

沃德

程序员 javaWeb 7月月更

营销玩法多变,搞懂规则是关键!

CRMEB

java培训之Java8 Stream 代码简化是如何实现的

@零度

stream JAVA开发

Qt|QWT绘制柱状图一类多种颜色

中国好公民st

qt 7月月更

Redis 过期的数据会被立马删除么?大有玄机

码哥字节

redis 底层原理 7月月更

龙芯高级工程师直播:视频编解码基础知识入门 | 第 31 期

OpenAnolis小助手

直播 基础 视频编解码 龙蜥大讲堂 龙芯中科

硅谷来信:Google、Facebook员工的“成长型思维”

博文视点Broadview

基于SpringBoot 的MCMS系统,完全开源,直接商用太爽了

冉然学Java

Java 源码 springboot 构架

全面打通 DevOps 数据链的研发效能度量平台

思码逸研发效能

开源 DevOps 研发效能 效能度量

会用redis吗?那还不快来了解下redis protocol

冉然学Java

Java 分布式 构架 Redis 数据结构

系统首页 DIY,你的个性化需求 Pro 系统来满足!

CRMEB

微软 Edge 浏览器 Tracking Prevention 的强制措施的一个例子

汪子熙

JavaScript microsoft 浏览器 前端开发 7月月更

为什么说企业需要具备企业知识管理的能力?

Baklib

对象的内存分配一定都是在堆空间吗?

领创集团Advance Intelligence Group

代码优化 内存分配

语音直播app源码

开源直播系统源码

直播系统源码 开源源码 语音直播系统源码

CSS神奇的卡片悬停交互效果

南城FE

CSS 前端 动画 鼠标悬浮 7月月更

使用ServiceWorker提高性能

devpoint

JavaScript Service Worker 7月月更

【LeetCode】数组美丽值求和Java题解

Albert

LeetCode 7月月更

Java基本概念详解

五分钟学大数据

Java 7月月更

web前端培训nodejs异步IO

@零度

node.js 前端开发

基于Qt设计的课堂考勤系统(采用RDS for MySQL云数据库 )

DS小龙哥

7月月更

多链多币种钱包系统开发跨链技术

薇電13242772558

钱包 跨链技术

Java 在Word文档中查找和高亮文本

在下毛毛雨

Java word文档 查找与高亮

FAQ制作工具推荐

Baklib

企事业单位该如何建设知识管理体系

Baklib

http请求redirect的问题

飞翔

golang

文本表示与文本生成模型新进展与应用_AICon_李磊_InfoQ精选文章