写点什么

比 BERT 提升近 10 个点!百度预训练模型 ERNIE 登顶 GLUE 榜单

  • 2019-12-11
  • 本文字数:1079 字

    阅读完需:约 4 分钟

比BERT提升近10个点!百度预训练模型ERNIE登顶GLUE榜单

北京时间 12 月 10 日,百度预训练模型界 ERNIE 在自然语言处理领域权威数据集 GLUE 中登上榜首,并以 9 个任务平均得分首次突破 90 大关刷新该榜单历史,其超越微软 MTDNN-SMART, 谷歌 T5、ALBERT 等一众国际顶级预训练模型的表现。



众所周知,通用语言理解评估基准 GLUE 是自然语言处理领域最权威的排行榜之一,由纽约大学、华盛顿大学、谷歌 DeepMind 等机构联合推出,以其涵盖大量不同类型的 NLP 任务,包括自然语言推断、语义相似度、问答匹配、情感分析等 9 大任务,成为衡量自然语言处理研究进展的行业标准。因此,吸引了谷歌、Facebook、微软等国际顶尖公司以及斯坦福大学、卡耐基·梅隆大学等顶尖大学参加。GLUE 排行榜的效果,在一定程度上成为了衡量各机构自然语言处理预训练技术水平最重要的指标之一。此次能够超越国际顶尖公司及高校荣登榜首,背后是百度 NLP 技术的长足积累。


2018 年底以来,以 BERT 为代表的预训练模型大幅提升了自然语言处理任务的基准效果,取得了显著技术突破,基于大规模数据的预训练技术在自然语言处理领域变得至关重要。众 AI 公司纷纷发力预训练领域,相继发布了 XLNet、RoBERTa、ALBERT、T5 等预训练模型。百度也先后发布了 ERNIE 1.0、ERNIE 2.0,在 16 个中英数据集上取得了当时的 SOTA。


从 GLUE 排行榜上来看,BERT 使用预训练加微调的方式,相对过往的基线成绩大幅提升各任务的效果,首次突破了 80 大关。XLNet、RoBERTa、T5、MT-DNN-SMART 等模型则分布在 88-89 分范围,人类水平则是 87.1。


百度 ERNIE 此次登顶,成为首个突破 90 大关的模型,并在 CoLA、SST-2、QQP、WNLI 等数据集上达到 SOTA。相对 BERT 的 80.5 的成绩,提升近 10 个点,取得了显著的效果突破。



百度 ERNIE 2.0 原理示意图


ERNIE 2.0 持续学习的语义理解框架, 支持增量引入不同角度的自定义预训练任务,通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。


此次登顶的模型主要基于 ERNIE 2.0 持续学习语义理解框架下的系列优化。引入更多新预训练任务, 例如引入基于互信息的动态边界掩码算法。对预训练数据和模型结构也做了精细化调整。


同时,百度 ERNIE 2.0 的论文(https://arxiv.org/abs/1907.12412)已被国际人工智能顶级学术会议 AAAI-2020 收录,AAAI-2020 将于 2020 年 2 月 7 日-12 日在美国纽约举行, 届时百度的技术团队将会进一步展示近期的技术成果。


据悉,百度 ERNIE 预训练技术已广泛地应用于公司内外多个产品和技术场景,其在百度搜索、小度音箱、信息流推荐等一系列产品应用中提升技术效果和用户体验的同时也在逐步赋能各行各业。


2019-12-11 15:242361
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 571.5 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

YashanDB支持的DR灾难恢复方案详解

数据库砖家

YashanDB支持的存储格式及压缩技术解析

数据库砖家

YashanDB支持的开发语言与工具:提升开发效率

数据库砖家

YashanDB支持的主流开发框架与工具

数据库砖家

告警管理不止降噪:如何从零散事件中挖出关键信息

嘉为蓝鲸

告警管理 #WeOps

YashanDB支持的扩展功能如何提升用户体验

数据库砖家

YashanDB支持的编程语言:灵活使用的优势

数据库砖家

MyCat的超强功能与应用场景入门篇

肖哥弹架构

Java mycat

YashanDB数据同步工具使用指南,实现数据一致性

数据库砖家

Dropzone 4:Mac更加高效地管理文件

Rose

YashanDB异地多活部署方案,保障业务连续性

数据库砖家

YashanDB支持的缓存机制如何提高性能?

数据库砖家

YashanDB支持的数据导入导出工具介绍

数据库砖家

YashanDB异常故障排查流程,快速定位并解决问题

数据库砖家

Gödel Rescheduler:适用于云原生系统的全局最优重调度框架

字节跳动开源

Kubernetes 云原生 GödelRescheduler 合并部署 重调度

YashanDB数据库备份恢复策略与实操指南

数据库砖家

AI智能体的开发框架

北京木奇移动技术有限公司

软件外包公司 AI技术应用 AI技术公司

YashanDB支持哪些数据类型?全面解析其数据模型

数据库砖家

华为智能穿戴十年,一场智能手表的健康革命

脑极体

AI

YashanDB支持的API接口及集成方式介绍

数据库砖家

YashanDB支持的编程语言与框架,方便开发者使用

数据库砖家

YashanDB支持的多种索引类型及应用场景

数据库砖家

YashanDB支持的异地多活部署方案详解

数据库砖家

YashanDB数据库备份策略及灾难恢复方案解析

数据库砖家

得物社区活动:组件化的演进与实践

得物技术

前端 JAV A 大数据 开源

YashanDB数据压缩与存储优化详解

数据库砖家

YashanDB性能优化技巧,提升数据库响应速度的方法

数据库砖家

YashanDB支持的编程语言及开发框架介绍

数据库砖家

YashanDB支持的多租户管理功能介绍

数据库砖家

YashanDB支持的国际标准和合规性分析

数据库砖家

在Mac 上打开FPS 监视器

柠檬与橘子

比BERT提升近10个点!百度预训练模型ERNIE登顶GLUE榜单_AI&大模型_高高_InfoQ精选文章