写点什么

华为预训练语言模型技术与行业应用

2020 年 2 月 12 日

华为预训练语言模型技术与行业应用

AICon 北京 2019 大会上,魏俊秋讲师做了《华为预训练语言模型技术与行业应用》主题演讲,主要内容如下。


演讲简介


Google 于 2018 年发布预训练语言模型 BERT ,并在 11 项自然语言处理(NLP)任务上取得最好成绩,OpenAI 也在前后不久的时间发布了 GPT 和 GPT2 ,在自然语言生成任务上带来了惊人表现,自此,预训练语言模型开始得到学术界和工业界的极大关注,被认为是开启了自然语言处理的新篇章。各个公司和高校的研究团队陆续推出了新的预训练语言模型,并不断刷新 NLP 任务上的记录,如近期 CMU 和 Google 推出的 XLnet ,Facebook AI 推出的 RoBERTa ,百度推出的 ERNIE 等。华为诺亚方舟实验室语音语义团队与海思图灵、云 BU 等团队合作,共同研究大规模预训练模型的训练技术,取得三项杰出研究成果,分别对应中文自然理解任务、生成任务以及模型小型化:1. 发布了自己的中文预训练语言模型“哪吒”,在中文自然语言理解任务上达到先进水平;2. 推出基于预训练语言模型的诗歌生成“乐府”,在中文诗歌生成任务上取得惊人表现;3. 预训练语言模型的小型化工作“TinyBERT”,在压缩 BERT 参数 8 倍的前提下,远超 BERT 的表现并且将推断加速 10 倍,此工作受到了 MIT Technology Review 的报道,并且已经成功应用在华为手机及合作运营商的多项业务上。


本次演讲将介绍华为在预训练语言模型的研究和实践的以上三项工作,以及预训练语言模型在华为业务成功落地的应用分享。


内容大纲


  1. 预训练语言模型背景介绍


1.1 模型简介


1.2 发展历程


1.3 最新进展


  1. 哪吒模型技术剖析


2.1 技术分享


2.2 效果展示


  1. 乐府模型介绍与效果展示


3.1 模型简介


3.2 云端落地案例


3.3 生成效果展示


  1. TinyBERT 的技术分享与案例展示


4.1 华为端侧需求分析


4.2 基于知识蒸馏和数据增强的压缩


4.3 落地案例分析


  1. 预训练语言模型在华为的落地应用


5.1 用户观点挖掘


5.2 序列化推荐


  1. 结论与展望


听众受益点


  1. 对预训练语言模型研究的最新进展有一个概观的认识,学习其中的关键技术

  2. 对预训练语言模型在自然语言理解和生成任务上的惊人表现有一个直观的认识

  3. 为大规模深度学习模型的研发和落地提供一些案例与经验分享


讲师介绍


魏俊秋,华为高级技术专家。


魏俊秋博士目前是华为诺亚方舟实验室语音语义组的研究员,博士毕业于香港科技大学计算机系,本科毕业于南京大学。长期从事时空数据分析、主题模型、预训练语言模型的研究,在国际顶级会议和期刊,如:SIGMOD、TKDE、ICDM、TKDD 发表论文数篇,并曾在国际知名会议,如:COLING、BIG DATA、BiGComp、PAKDD 担任程序委员会委员。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2019/beijing/schedule


2020 年 2 月 12 日 19:41158

评论

发布
暂无评论
发现更多内容

关于Iterator和Iterable

shengjk1

Java Iterator和Iterable

回“疫”录:开篇

小天同学

疫情 回忆录 现实纪录 纪实

三点思考,判断一家公司是否值得加入

邓瑞恒Ryan

高效工作 个人成长 职业

Flink获取kafka中每条消息对应的topic

shengjk1

flink kafka flink 消费 kafka 获取 topic等信息

Oauth2的认证实战-HA篇

Damon

Java 架构 Kubernetes 微服务架构 Spring Cloud

简单到不可能失败 —— 《微习惯》

零和幺

读书笔记

2020,这个世界会好吗?

IT民工大叔

读书笔记

我从来不在朋友圈晒投资人合影,却融了很多钱

邓瑞恒Ryan

高效工作 人脉 职业规划

极客父母送给孩子的 ABC Book 就是这么 GEEK

魏彬(rockybean)

GEEK BOOK

一文搞定 equals 和 hashCode

shengjk1

Java equals vs hashcode

我的第一个千万阅读量

彭宏豪95

创作 生活 写作

【SpringBoot】掌握这两个属性,你的测试类可以启动的更快些

遇见

Java Spring Boot Unit Test

我如何用 Python 给 Github 的 README.md 做一个访客统计功能

遇见

Python GitHub 开源 badge open-source

程序员职业鉴赏

陆陆通通

程序员 加班 职业病 鄙视链

Arduino 蓝牙遥控+超声避障小车

黄耗子皮

树莓派 极客

死磕Java并发编程(1):探究Java并发机制的底层原理

七哥爱编程

Java Java并发 并发编程

阿里面试,一面就倒在了Java内存模型上?赶紧来看看

七哥爱编程

面试 Java并发 内存模型

破解 Java Agent 探针黑科技!

谭建

Java JVMTI APM Profile

聊聊:Java

谢烟客

Java 编程 开发者 随笔杂谈 「Java 25周年」

禁止在构造函数里调用虚函数

喵叔

C# .net 编码习惯

如何解决 Kubernetes 的 DNS 延迟问题

倪朋飞

Kubernetes 微服务 云原生

Scrum vs Kanban,如何选择

TerryLee

Scrum Kanban 敏捷开发 Worktile 研发管理

GitHub知错就改,是个好同志

遇见

GitHub

无代码开发

Fenng

Kubernetes 容器运行时演进

倪朋飞

Kubernetes 容器 云原生

Kubernetes中的CI/CD

倪朋飞

Kubernetes DevOps 微服务

探究vscode debug流程,解决无法运行go程序的问题

simpleapples

golang vscode

用你喜欢的 emoji 作为页面的 favicon 吧 🎉

遇见

CSS html favicon emoji

一篇文章搞定 java 中的 path 和 classpath

shengjk1

Java classpath vs path classpath path

你不必读完一本书

池建强

学习 读书

像黑客一样思考

Fooying

黑客思维 黑客 安全攻防

华为预训练语言模型技术与行业应用-InfoQ