写点什么

文本表示与文本生成模型新进展与应用

  • 2019-09-17
  • 本文字数:797 字

    阅读完需:约 3 分钟

文本表示与文本生成模型新进展与应用

AICon北京2018大会上,李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲,主要内容如下。


演讲简介


本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示,我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子,进而推广到一般受限文本生成。基于这些技术,我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言,拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。


演讲提纲:


  1. 写稿机器人概述

  2. 句子表示

  3. (1)上下文相关向量话表示 ELMo、GPT、BERT

  4. (2)树结构的神经网络句子表示

  5. 机器翻译中的词覆盖问题

  6. (1)词覆盖模型

  7. (2)Past-and-future 模型

  8. 受限文本生成

  9. (1)监督方法

  10. (2)非监督贝叶斯采样方法 CGMH

  11. (3)时间序列补全模型

  12. 应用介绍


听众收益:


  1. 了解机器写稿、文本生成和翻译的工业界应用

  2. 了解文本句子表示的最近一年新进展

  3. 了解文本生成中的监督和非监督方法


讲师介绍


李磊


字节跳动 人工智能实验室总监


李磊博士,字节跳动人工智能实验室总监,原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科,卡耐基梅隆大学计算机系博士,加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇,拥有三项美国技术发明专利,担任 CCF 中文信息处理专委委员,2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2018/beijing/#schedule


2019-09-17 13:591567

评论

发布
暂无评论
发现更多内容

使用Docker搭建MySQL数据库服务

霍格沃兹测试开发学社

Flink 中 Task(任务)的概念、定位及应用详解与易混淆点梳理

木南曌

flink 实时计算

面对API的安全风险,WAAP全站防护的作用

德迅云安全杨德俊

如何选择性价比高的国外云主机服务?

一只扑棱蛾子

云主机 国外云主机

node.js这些常用命令,你都会了吗?

霍格沃兹测试开发学社

XPath定位如何在App自动化测试中大显神威

霍格沃兹测试开发学社

事业-最佳实践-编码-单一职责判断

南山

设计模式 设计原则 单一职责 类职责 方法职责

关于 ASP.NET Core 内置的依赖注入

雄鹿 @

ASP.NET Core

论低代码开与AI时代的适配性

不在线第一只蜗牛

人工智能 AI 低代码

从0到1:校园生活圈小程序开发笔记(一)

CC同学

“产研六力”模型:引领企业创新发展的新路径

凌晞

研发管理 产品管理 #研发

Orangedx:引领新一轮 BTCFi 浪潮

股市老人

Orangedx:引领新一轮 BTCFi 浪潮

股市老人

苹果头显产品年内中国上市;「美版贴吧」Reddit 苦熬 19 年终上市丨 RTE 开发者日报 Vol.170

声网

在 ASP.NET Core 中引入 Serilog 记录日志

雄鹿 @

ASP.NET Core

新质生产力与零信任数据安全:携手共创未来

从云科技

数据安全 零信任 新质生产力

Docker搭建持续集成平台Jenkins最简教程

霍格沃兹测试开发学社

适应多样化需求:WASM 插件在全链路灰度发布中的应用

阿里巴巴云原生

阿里云 微服务 云原生

事业-最佳实践-编码-提升团队代码质量

南山

团队管理 代码质量 编码质量

轻松搞定企业管理:这10个免费模板值得收藏!

彭宏豪95

企业管理 在线白板 企业管理软件 办公软件 效率软件

电源缓启动(软起动)原理

芯动大师

芯片 电源 热插拔

Knative 助力 XTransfer 加速应用云原生 Serverless 化

阿里巴巴云原生

阿里云 云原生 Knative

Solidity案例详解(七)供应链金融合约

BSN研习社

区块链 Solidity

文本表示与文本生成模型新进展与应用_AICon_李磊_InfoQ精选文章