写点什么

NLP 领域预训练模型发展趋势解读

  • 2020-03-12
  • 本文字数:1850 字

    阅读完需:约 6 分钟

NLP领域预训练模型发展趋势解读

众所周知,自然语言处理领域在最近两年发生了天翻地覆的技术变革,进入了技术井喷的快速发展期,而这一巨变的引发者是由 BERT 为代表的预训练模型及新型特征抽取器 Transformer 的快速发展与普及带来的。 从 BERT 的应用来看,已经在对话系统、机器阅读理解、搜索、文本分类等几乎大多数 NLP 应用领域快速应用,并在部分应用领域取得了突破性的效果提升,而且各大互联网公司都已开始普及应用 BERT 模型。从预训练模型改进的角度看,最近一年多也陆续出现了大量效果突出的改进模型,比如 XLNet、SpanBert、RoBERTa、ALBert、BART 等一系列改进。在众多的 BERT 预训练改进模型中,RoBERTa 可能是目前为止最简单有效的,它仅仅通过增加更大规模的高质量数据、延长训练时间以及增大 Batch Size 等简单手段,就能将预训练模型效果推到一个很高的精度,效果超过了很多其它的改进模型。这说明了:目前 BERT 采用的 Transformer 结构,从模型复杂度来说是足够复杂的,表达能力也足够强大,我们仅仅通过增加高质量数据、增加训练时间,依然能够极大幅度提升 BERT 的性能。相对提出新的复杂模型来说,这种改进更加简洁有效。


从模型结构来说,以 Google T5、MASS、UniLM 以及 BART 模型为代表的预训练网络结构代表了目前为止较好的模型结构,相信以后 BERT 模型的结构会逐步收敛到这个结构上来。它们都采取基于 Transformer 的 Encoder-Decoder 网络结构来进行模型预训练:Encoder 采取双向 Transformer,Decoder 则往往采取从左到右的序列生成结构 Transformer。这样做的好处是:它能够同时兼顾比如文本分类等判别类任务,也能够解决 NLP 中另外一大类任务,即生成类任务。这样就使得 BERT 的应用范围更加广泛。


从工程实用化角度看,因为 BERT 的基础结构采用了 12 层或者 24 层的 Transformer,所以存在参数量大计算速度慢的问题,而真正要想使模型大规模落地应用,如何将预训练模型做小做快是关键所在。目前在这方面的模型改进有几种思路:一种思路以 ALBert 的做法为代表。它一方面将输入单词 Embedding 参数矩阵进行矩阵分解,一方面将 Transformer 各层参数共享。通过结合两者来大量减少参数,但这种方案在计算量上并未减少,仅仅减少了模型参数;第二种是采用 Teacher-Student 模式的知识蒸馏,通过训练小的 Student 模型来模拟大的 Teacher 来减小模型大小,这样可以同时减小模型参数及计算量,以此增加计算速度;除此外,在模型压缩方面常见的剪枝、模型参数二值化等方法也同样可以应用在 BERT 的预训练模型上。总体而言,知识蒸馏是个相对更有前景的预训练模型压缩发展方向。


作为刚提出不久的新型研究范式,我们目前对 Transformer 和 BERT 为何有效的理解还比较浅显,同时 BERT 模型还有很多值得深入改进的方向,比如长文档处理、知识图谱的融合、多模态融合等,都需要进一步更深入的研究。相信随着大家对 BERT 的理解逐渐深入,对 BERT 模型的快速改进以及更多领域更好的应用效果会成为 NLP 领域的常态,我们在不远的未来会看到 NLP 领域更多新模型的出现,以及这些新技术推动实际应用场景的快速进步。


嘉宾介绍:


张俊林,中国中文信息学会理事,中科院软件所博士。目前担任新浪微博机器学习团队 AI Lab 负责人。在此之前,张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队,以及在百度和用友担任技术经理及技术总监等职务。他是技术书籍《这就是搜索引擎:核心技术详解》(该书荣获全国第十二届优秀图书奖)、《大数据日知录:架构与算法》的作者。


他本科毕业于天津大学管理学院,之后在中科院软件所直接攻读博士学位,研究方向是信息检索理论与自然语言处理,就学期间曾在 ACL2006、COLING2004、IJCNLP2004 等国际顶级会议发表多篇学术论文。另外,他在此期间领导设计的搜索系统曾在美国国防部 DARPA 主持的 TREC 高精度检索系统评测中取得综合排名第一名的优异成绩。近年来,陆续在 Recsys2019 以及 ICDM2019 等国际会议发表多篇深度学习推荐系统相关论文。


张俊林老师将在 8 月份的 AICon 2020 上海站担任“NLP 技术和应用“专场出品人,和你一起谈谈 NLP 在工业界的最新技术应用,想要跟张老师现场面基的同学千万不要错过。


另外,大会还设置有智能金融、推荐广告技术及应用、AI 工程师团队建设与管理、认知智能、大数据计算和分析、智能语音前沿技术等热门专场,来自 BAT、微软、小米、华为、PayPal、快手等 50+ 一线 AI 技术大咖将带来更多精彩分享,目前大会限时 5 折报名火热进行中,更多内容欢迎咨询票务小姐姐 Amy:18514549229(同微信),我们 8 月上海不见不散!



2020-03-12 15:172538

评论

发布
暂无评论
发现更多内容

Cartesia 发布实时 STT 模型 Ink-Whisper;Niantic 与 Snap 合作 AR 眼镜地图系统 丨日报

声网

阿里P 8专家爆出:入职阿里必备的598道java面试题,内含算法

程序员高级码农

AI 聊天应用的需求汇总10条

量贩潮汐·WholesaleTide

AI

玩转 Databend UDF

Databend

2025年第二届“兴智杯”智能编码创新应用开发挑战赛正式启动

阿里巴巴云原生

BOE(京东方)携钙钛矿、新能源产品及解决方案亮相2025 SNEC 科技创新赋能行业绿色发展

爱极客侠

基于昇腾适配数据驱动的全球天气预报模型Fuxi

Splendid2025

人工智能「

上海的朋友来找 RTE 社区交流吧!丨亚马逊云科技中国峰会,6.19-20,上海世博中心

声网

夸克发布首个高考志愿大模型凭什么喊出“让天下没有难报的志愿”

脑极体

AI

Geneformer:基于Transformer的基因表达预测深度学习模型

Splendid2025

人工智能、

AI开发最后一公里的神器,YouWare

大林

AI coding 氛围编程 AI 编程

基于昇腾适配Meta AI在Science正刊发表的蛋白质结构预测模型ESMFold

Splendid2025

人工智能、

基于昇腾适配DeepMind团队发布的蛋白质结构预测模型OpenFold

Splendid2025

人工智能、

Mint Studio 正式上线:下一代 NFT 资产发行平台

NFT Research

NFT NFT\ #Web3

昇腾AI4S图机器学习:DGL消息传递接口的PyG替换

Splendid2025

百度沈抖:全栈自主可控,为应用而生

百度Geek说

探索OrcaMind.ai打造的链上AI操作系统,开启Web3新时代

BlockChain先知

ArkUI-X在Android上使用Fragment开发指南

龙儿筝

认识 SwiftChat:一款跨平台、高性能的 AI 助手应用程序

亚马逊云科技 (Amazon Web Services)

ArkUI-X构建Android平台AAR及使用

龙儿筝

探索 Pencils Swap 的叙事:为 DeFi 的再次爆发蓄力

加密眼界

Dify实战案例:AI邮件批量发送器!

王磊

ETLCloud中数据脱敏规则的使用技巧

RestCloud

数据库 数据处理 ETL 数据脱敏 数据集成

芜湖,又被白嫖喽!

程序员郭顺发

从OrcaMind.ai看链上AI操作系统,到底是技术噱头还是未来?

石头财经

OrcaMind.ai链上AI操作系统揭秘,一文读懂它凭什么革新行业

股市老人

2025年第二届“兴智杯”智能编码创新应用开发挑战赛正式启动

阿里云云效

华为Pura 80系列用户享Petal One三个月悦享套餐,6大会员权益一键领

最新动态

鸿蒙 UI 开发基础语法与组件复用全解析:从装饰器到工程化实践指南

谢道韫

AI 数据分析训练营第 1 期 -- 毕业总结

grandocean

探索OrcaMind.ai打造的链上AI操作系统,开启Web3新时代

加密眼界

NLP领域预训练模型发展趋势解读_大数据_张俊林_InfoQ精选文章