NLP中的预训练语言模型总结

2019 年 9 月 02 日

NLP中的预训练语言模型总结

本文授权转载自知乎专栏:高能 NLP 之路

本文以 QA 形式总结对比了 nlp 中的预训练语言模型,主要包括 3 大方面、涉及到的模型有:

  • 单向特征表示的自回归预训练语言模型,统称为单向模型:
    ELMO/ULMFiT/SiATL/GPT1.0/GPT2.0;

  • 双向特征表示的自编码预训练语言模型,统称为 BERT 系列模型:
    BERT/MASS/UNILM/ERNIE1.0/ERNIE(THU)/MTDNN/ERNIE2.0/SpanBERT/RoBERTa

  • 双向特征表示的自回归预训练语言模型:XLNet;

Question List

Q1:从不同维度对比【预训练语言模型】?

Q2:基于深度学习的 NLP 特征抽取机制有哪些?各有哪些优缺点?

Q3:自回归和自编码语言模型各有什么优缺点?

Q4:单向模型的内核机制是怎样的?有哪些缺点?

Q5:Transformer 内部机制的深入理解:

  • 为什么是缩放点积,而不是点积模型?
  • 相较于加性模型,点积模型具备哪些优点?
  • 多头机制为什么有效?

Q6-Q10:BERT 内核机制探究

  • BERT 为什么如此有效?
  • BERT 存在哪些优缺点?
  • BERT 擅长处理哪些下游 NLP 任务?
  • BERT 基于“字输入”还是“词输入”好?(对于中文任务)
  • BERT 为什么不适用于自然语言生成任务(NLG)?

原文链接:【 https://www.infoq.cn/article/4SRM7UMVS4GdD9A90wff 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2019 年 9 月 02 日 18:40 9137

评论

发布
暂无评论
发现更多内容

Java架构-代码分层的设计之道

我是苞谷

Zookeeper从入门到放弃之Zookeeper典型应用场景

小隐乐乐

zookeeper 分布式 分布式锁

编程核心能力之重构

顿晓

学习方法 重构

股权交易中心+区块链试点将开始

CECBC区块链专委会

防篡改 股权交易 可追溯 信息存证

高并发系统设计要点

南方有乔木兮

Java

没想到 Hash 冲突还能这么玩,你的服务中招了吗?

石头

Java 安全攻防 hashmap hash 后端开发

JVM系列之:String.intern和stringTable

程序那些事

Java JVM GC 常量池 字符串

【API进阶之路】无法想象!大龄码农的硬盘里有这么多宝藏

华为云开发者社区

容器 层次 API 网关 华为云

Java架构-不要成为项目风险的奴隶

我是苞谷

Java

TOGAF实用教程(IT帮)

周金根

企业架构实施简介

周金根

在线互动课堂低延迟交互利器:高性能异步化设计与监控

SocketSide

线程模型 异步 Task 在线课堂

架构师训练营 第八周 总结

Poplar

OMG组织的企业架构建模规范

周金根

两个单向链表是否存在合并元素

周冬辉

一个成都程序猿眼中的成都和天府软件园,先从蚂蚁金服说起…

why技术

程序员 成都 蚂蚁金服

设计模式之外观模式解析

七哥爱编程

程序员 设计模式 外观模式

癌症筛查清单

Lee Chen

随笔杂谈 前端进阶训练营

ARTS-WEEK8

一周思进

ARTS 打卡计划

LeetCode题解:206. 反转链表,JavaScript,While循环迭代,详细注释

Lee Chen

LeetCode 前端进阶训练营

【总结】性能优化2

小胖子

Unix路径是如何简化算法,架构师性能优化 John 易筋 ARTS 打卡 Week 10

John(易筋)

ARTS 打卡计划

性能测试 + 操作系统 + 锁

王鹏飞

JVM系列-读懂 GC 日志

Rayjun

Java JVM GC

拥抱400GE新引擎,跨越新基建的时代龙门

脑极体

搞事情?Spring Boot今天一口气发布三个版本

YourBatman

Spring Boot 新特性

区块链如何切入供应链金融市场?

CECBC区块链专委会

浅析区块链如何改变生活

CECBC区块链专委会

数字银行 供应链 身体监测 资产管理

比 996 更可怕的是职场 PUA

非著名程序员

职场 职场成长 职场误区 职场 PUA

应用程序研发之基础知识分层与进化

superman

影响企业架构项目成功的8个重要步骤

周金根

众安黑客马拉松大赛总决赛-InfoQ小编探班

众安黑客马拉松大赛总决赛-InfoQ小编探班

NLP中的预训练语言模型总结-InfoQ