写点什么

文本表示与文本生成模型新进展与应用

  • 2019-09-17
  • 本文字数:797 字

    阅读完需:约 3 分钟

文本表示与文本生成模型新进展与应用

AICon北京2018大会上,李磊讲师做了《文本表示与文本生成模型新进展与应用》主题演讲,主要内容如下。


演讲简介


本次讲座将介绍文本表示和文本生成方面的近一年重要进展。文本表示和生成是两个不可分割的任务。今年包括 ELMo、GPT、BERT 等新工作通过上下文语境对词向量建模。而今年也有一系列工作寻找最优表达句子的树以及研究基于树结构表示句子中的决定性因素。利用更好的表示,我们改进了翻译模型中过翻译和欠翻译的问题。我们也将介绍利用监督和非监督的方法训练模型根据关键词生成句子,进而推广到一般受限文本生成。基于这些技术,我们研发的写稿机器人已经写作超过 6 万篇文章跨 6 个语言,拥有 12 万多粉丝关注。我们也将介绍文本生成在搜索和广告等场景中的应用。


演讲提纲:


  1. 写稿机器人概述

  2. 句子表示

  3. (1)上下文相关向量话表示 ELMo、GPT、BERT

  4. (2)树结构的神经网络句子表示

  5. 机器翻译中的词覆盖问题

  6. (1)词覆盖模型

  7. (2)Past-and-future 模型

  8. 受限文本生成

  9. (1)监督方法

  10. (2)非监督贝叶斯采样方法 CGMH

  11. (3)时间序列补全模型

  12. 应用介绍


听众收益:


  1. 了解机器写稿、文本生成和翻译的工业界应用

  2. 了解文本句子表示的最近一年新进展

  3. 了解文本生成中的监督和非监督方法


讲师介绍


李磊


字节跳动 人工智能实验室总监


李磊博士,字节跳动人工智能实验室总监,原百度美国深度学习实验室少帅科学家。上海交通大学计算机系本科,卡耐基梅隆大学计算机系博士,加州大学伯克利分校博士后研究员。曾获 2012 年美国计算机学会 SIGKDD 最佳博士论文之一、2017 年吴文俊人工智能技术发明二等奖。在机器学习、数据挖掘和自然语言理解领域于国际顶级学术会议发表论文 40 余篇,拥有三项美国技术发明专利,担任 CCF 中文信息处理专委委员,2017 KDD Cup 及 2018 KDD Hands-on Tutorial 联合主席, AAAI 2019 资深程序委员和 ICML、KDD、IJCAI 等大会程序委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2018/beijing/#schedule


2019-09-17 13:591521

评论

发布
暂无评论
发现更多内容

听GPT 讲Rust Tokio源代码(6)

fliter

听GPT 讲Rust Tokio源代码(7)

fliter

Java break、continue 详解与数组深入解析:单维数组和多维数组详细教程

小万哥

Java 程序人生 编程语言 软件工程 后端开发

解析Sermant热插拔能力:服务运行时动态挂载JavaAgent和插件

华为云开发者联盟

开发 华为云 javaagent 华为云开发者联盟 sermant

阿里云参编业内首个代码大模型标准丨云原生 2024 年 1 月产品技术动态

阿里巴巴云原生

阿里云 云原生

海外云手机——平台引流的重要媒介

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机

萨尔瓦多「比特币总统」连任,Web3 的又一「胜地」?

TechubNews

听GPT 讲Rust Tokio源代码(8)

fliter

华为音乐用AI送上新年佳曲,花式祝福迎龙年新春

最新动态

听GPT 讲Deno源代码(2)

fliter

Optimism为 CQT提供价值 20 万美元的生态系统资助,以表彰其支持

股市老人

教育创新聚焦技术前沿-全国高校软件测试峰会开幕

测试人

人工智能 软件测试 自动化测试 测试开发 高校

考研失败如何快速找到编程工作?

王磊

Java 考研

OpenMLDB 作为中国唯一的特征平台产品入选 2023 Gartner 研究报告

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

了解海外云手机的多种功能

Ogcloud

云手机 海外云手机

京东零售技术小哥带你揭秘:亿级流量高并发春晚互动前端技术

京东零售技术

前端 春晚

听GPT 讲Deno源代码(1)

fliter

华为智慧屏游戏中心合家欢会员免费领!春节团聚畅玩《小小炸弹人》等合家欢游戏

最新动态

跨越财务困境,聚道云软件连接器如何助力企业轻松实现数字化转型?

聚道云软件连接器

案例分享

文心一言 VS 讯飞星火 VS chatgpt (197)-- 算法导论14.3 5题

福大大架构师每日一题

福大大架构师每日一题

面向智算服务,构建可观测体系最佳实践

阿里巴巴云原生

阿里云 云原生 可观测

听GPT 讲Rust Tokio源代码(4)

fliter

新年新岁,好运 long long

阿里云CloudImagine

云计算 视频云

TiDB 7.5.0 LTS 高性能数据批处理方案

TiDB 社区干货传送门

新版本/特性解读

【Netty技术专题】「原理分析系列」Netty强大特性之Native transports扩展开发实战

码界西柚

Java Netty nio epoll 2024年第三十五篇文章

文本表示与文本生成模型新进展与应用_AICon_李磊_InfoQ精选文章