红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

NLP 领域预训练模型发展趋势解读

  • 2020-03-12
  • 本文字数:1850 字

    阅读完需:约 6 分钟

NLP领域预训练模型发展趋势解读

众所周知,自然语言处理领域在最近两年发生了天翻地覆的技术变革,进入了技术井喷的快速发展期,而这一巨变的引发者是由 BERT 为代表的预训练模型及新型特征抽取器 Transformer 的快速发展与普及带来的。 从 BERT 的应用来看,已经在对话系统、机器阅读理解、搜索、文本分类等几乎大多数 NLP 应用领域快速应用,并在部分应用领域取得了突破性的效果提升,而且各大互联网公司都已开始普及应用 BERT 模型。从预训练模型改进的角度看,最近一年多也陆续出现了大量效果突出的改进模型,比如 XLNet、SpanBert、RoBERTa、ALBert、BART 等一系列改进。在众多的 BERT 预训练改进模型中,RoBERTa 可能是目前为止最简单有效的,它仅仅通过增加更大规模的高质量数据、延长训练时间以及增大 Batch Size 等简单手段,就能将预训练模型效果推到一个很高的精度,效果超过了很多其它的改进模型。这说明了:目前 BERT 采用的 Transformer 结构,从模型复杂度来说是足够复杂的,表达能力也足够强大,我们仅仅通过增加高质量数据、增加训练时间,依然能够极大幅度提升 BERT 的性能。相对提出新的复杂模型来说,这种改进更加简洁有效。


从模型结构来说,以 Google T5、MASS、UniLM 以及 BART 模型为代表的预训练网络结构代表了目前为止较好的模型结构,相信以后 BERT 模型的结构会逐步收敛到这个结构上来。它们都采取基于 Transformer 的 Encoder-Decoder 网络结构来进行模型预训练:Encoder 采取双向 Transformer,Decoder 则往往采取从左到右的序列生成结构 Transformer。这样做的好处是:它能够同时兼顾比如文本分类等判别类任务,也能够解决 NLP 中另外一大类任务,即生成类任务。这样就使得 BERT 的应用范围更加广泛。


从工程实用化角度看,因为 BERT 的基础结构采用了 12 层或者 24 层的 Transformer,所以存在参数量大计算速度慢的问题,而真正要想使模型大规模落地应用,如何将预训练模型做小做快是关键所在。目前在这方面的模型改进有几种思路:一种思路以 ALBert 的做法为代表。它一方面将输入单词 Embedding 参数矩阵进行矩阵分解,一方面将 Transformer 各层参数共享。通过结合两者来大量减少参数,但这种方案在计算量上并未减少,仅仅减少了模型参数;第二种是采用 Teacher-Student 模式的知识蒸馏,通过训练小的 Student 模型来模拟大的 Teacher 来减小模型大小,这样可以同时减小模型参数及计算量,以此增加计算速度;除此外,在模型压缩方面常见的剪枝、模型参数二值化等方法也同样可以应用在 BERT 的预训练模型上。总体而言,知识蒸馏是个相对更有前景的预训练模型压缩发展方向。


作为刚提出不久的新型研究范式,我们目前对 Transformer 和 BERT 为何有效的理解还比较浅显,同时 BERT 模型还有很多值得深入改进的方向,比如长文档处理、知识图谱的融合、多模态融合等,都需要进一步更深入的研究。相信随着大家对 BERT 的理解逐渐深入,对 BERT 模型的快速改进以及更多领域更好的应用效果会成为 NLP 领域的常态,我们在不远的未来会看到 NLP 领域更多新模型的出现,以及这些新技术推动实际应用场景的快速进步。


嘉宾介绍:


张俊林,中国中文信息学会理事,中科院软件所博士。目前担任新浪微博机器学习团队 AI Lab 负责人。在此之前,张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队,以及在百度和用友担任技术经理及技术总监等职务。他是技术书籍《这就是搜索引擎:核心技术详解》(该书荣获全国第十二届优秀图书奖)、《大数据日知录:架构与算法》的作者。


他本科毕业于天津大学管理学院,之后在中科院软件所直接攻读博士学位,研究方向是信息检索理论与自然语言处理,就学期间曾在 ACL2006、COLING2004、IJCNLP2004 等国际顶级会议发表多篇学术论文。另外,他在此期间领导设计的搜索系统曾在美国国防部 DARPA 主持的 TREC 高精度检索系统评测中取得综合排名第一名的优异成绩。近年来,陆续在 Recsys2019 以及 ICDM2019 等国际会议发表多篇深度学习推荐系统相关论文。


张俊林老师将在 8 月份的 AICon 2020 上海站担任“NLP 技术和应用“专场出品人,和你一起谈谈 NLP 在工业界的最新技术应用,想要跟张老师现场面基的同学千万不要错过。


另外,大会还设置有智能金融、推荐广告技术及应用、AI 工程师团队建设与管理、认知智能、大数据计算和分析、智能语音前沿技术等热门专场,来自 BAT、微软、小米、华为、PayPal、快手等 50+ 一线 AI 技术大咖将带来更多精彩分享,目前大会限时 5 折报名火热进行中,更多内容欢迎咨询票务小姐姐 Amy:18514549229(同微信),我们 8 月上海不见不散!



公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-03-12 15:172284

评论

发布
暂无评论
发现更多内容

java deep vs shallow copies

shengjk1

Java deep copy shallow cop

FlinkSQL 平台

shengjk1

flink flink sql flink sql 平台

Flink 计算 TopN

shengjk1

flink flink 实战 flink topN

Dubbo的设计理念原来就藏在这三张图中

中间件兴趣圈

dubbo RPC

到底什么是Event Loop?那就来了解一下JavaScript分别在浏览器和Node环境下的运行机制吧

零一

JavaScript 大前端

阿里一战封神,百万人跪求的Java面试手册终于开源;

Java架构师迁哥

一文搞懂 FlinkSQL 的 KafkaSource

shengjk1

flink flink源码 flink sql

Flink 提交作业运行的各种模式总结

shengjk1

flink flink 执行

图解TCP的通信机制

零一

TCP 网络

Python-计算机视觉-OpenCV-调色板

Aldeo

Python OpenCV

已拿到蚂蚁金服Offer!阿里内部二十三万字Java面试题总结

Java架构追梦

Java 阿里巴巴 架构 面试 金三银四

Python OpenCV 图像处理二值化,取经之旅第 7 天

梦想橡皮擦

3月日更

一文搞懂 FlinkSQL函数 LAST_VALUE 的原理

shengjk1

flink flink sql flink 源码

如何在3分钟内实现音频变声和趣味音效?

拍乐云Pano

音视频 RTC 出海社交 社交泛娱乐

万众瞩目的EGG Network,备受期待的New-DeFi自治共识论坛在海口闭幕

币圈那点事

区块链

一文搞懂Flink SQL执行过程

shengjk1

flink flink源码 flink sql flink sql 执行过程

4层板到12层板叠层经典设计方案

不脱发的程序猿

28天写作 电路设计 3月日更 PCB PCB布局

【LeetCode】扁平化嵌套列表迭代器Java题解

Albert

算法 LeetCode 3月日更

JVM G1GC的算法与实现

Yano

Java JVM GC G1GC

寻找被遗忘的勇气(二十三)

Changing Lin

3月日更

Flink 计算 PV UV

shengjk1

flink flink 实战

硬件工程师必备,常用元器件封装速查表

不脱发的程序猿

28天写作 电路设计 3月日更 元器件封装速查表 电子设计

Swift 5创建和使用Framework, XCFramework 从入门到精通 John 易筋 ARTS 打卡 Week 42

John(易筋)

ARTS 打卡计划 Framework XCFramework

Redis新版本开始引入多线程,谈谈你的看法?

Java架构师迁哥

SDK介绍及相关功能测试

行者AI

测试 sdk

使用Redis,你必须知道的21个注意要点

Java 数据库 redis 架构 面试

一文搞懂 Flink 中的锁

shengjk1

flink flink 锁

快速使用Vue3最新的15个常用API(1W5+字详解,建议收藏)

零一

vue.js 大前端 Vue3

SQLServer性能调优方法小结

嘉为蓝鲸

数据库 sql 运维 SqlServer MAXDOP

想学IT的必看!漫谈MySQL权限安全,分享一点面试小经验

欢喜学安卓

android 程序员 面试 移动开发

超全Android中高级面试复习大纲,在线面试指南

欢喜学安卓

android 程序员 面试 移动开发

NLP领域预训练模型发展趋势解读_大数据_张俊林_InfoQ精选文章