写点什么

微软开源 ONNX Runtime 模型以加速 Google BERT

  • 2020-01-22
  • 本文字数:979 字

    阅读完需:约 3 分钟

微软开源ONNX Runtime模型以加速Google BERT

微软人工智能研究院 1 月 21 日称计划开源 BERT 自然语言模型优化版本,该模型可以与 ONNX Runtime 推理引擎配合使用。在为 Bing 搜索引擎提供语言表达功能时,Microsoft 使用相同的模型来降低 BERT 的延迟。该模型“为 Bing 用户带来了最佳搜索体验” ,去年秋天发表的一篇论文中对该模型进行了详细介绍。



论文地址:https://azure.microsoft.com/en-us/blog/bing-delivers-its-largest-improvement-in-search-experience-using-azure-gpus/


公司发言人表示,这意味着开发人员可以使用 ONNX Runtime 和 Nvidia V100 GPU 大规模部署 BERT,而延迟只有 1.7 毫秒,这样的性能表现过去只能在大型科技公司中实现。


2017 年,微软与 Facebook 合作创建了 ONNX,以推动跨 AI 硬件(如半导体)和软件(如机器学习框架)之间的互操作性。BERT 优化工具增加了许多 ONNX Runtime 加速器,例如 Nvidia TensorRT 和英特尔 OpenVINO。使用 ONNX 标准意味着优化后的模型可以与 PyTorch,TensorFlow 和其他流行的机器学习模型一起运行,这种改善是得益于 Azure AI 与微软 AI 研究院的合作。


“由于 BERT 模型主要由堆叠 Transformer 单元组成,因此我们通过将多个基本运算符的关键子图融合到 CPU 和 GPU 的单个内核(包括自注意力层、LayerNormalization 和 Gelu 层)中来优化每个单元。微软高级项目经理 Emma Ning 在博客中称:“这大大减少了许多基本计算之间的内存复制。”



对于微软来说,这是其在自然语言领域取得的最新突破,但这并不是业界第一次尝试优化 BERT。大约一年前,Microsoft AI 研究人员还发布了 MT-DNN,一款基于 Transformer 提升 GLUE 语言模型性能基准的模型。


一位业内人士称,通过使用像 BERT 和 MT-DNN 等基于 Transformer 的模型,使自然语言模型在文本生成等任务中表现更优越,是 2019 年 AI 取得的最大成就之一。



微软在其他自然语言开发上也取得了一定进展。在 2019 年温哥华 NeurIPS 上,微软和浙江大学联合发布了语音合成系统 FastSpeech,与自回归的 Transformer TTS 相比,FastSpeech 将梅尔谱的生成速度提高了近 270 倍,将端到端语音合成速度提高了 38 倍,单 GPU 上的语音合成速度达到了实时语音速度的 30 倍。 在 2019 年夏季,微软还推出了会话 AI 助手工具包 Icecaps。


原文链接:


https://venturebeat.com/2020/01/21/microsoft-open-sources-onnx-runtime-model-to-speed-up-googles-bert/


2020-01-22 13:355437

评论

发布
暂无评论
发现更多内容

产品训练营·第二周作业 & 总结

tiu

利益相关方以及优先级

skylar

GO 进阶学习笔记

zach

微服务 Go 语言

信任是一种需要牺牲效率持续发出的信号

Justin

心理学 信任 市场营销 28天写作

【总结】产品经理训练营 | 02 产品思维和产品意识(上、中)

阿席达卡。

关于利益相关者的作业

mas

第二周作业

正午看星星

极客大学产品经理训练营

抽奖助手stackholder

再见陛下

利益相关方分析-公司及团队维度

梁媛

产品经理

第 2 周作业

老元宵

产品经理的书籍清单【持续更新】

学习高手song轻松

产品

第二次作业

Geek_d9dd01

你以为阿里真的取消周报了?

Ian哥

28天写作

我用PHP写的第一个Hello world

熊斌

28天写作

28天瞎写的第二百二十九天:存储过程的故事

树上

28天写作

产品经理训练营第二章作业——利益相关者

阿波

年底想跳槽?先想清楚自己要什么。

一笑

面试 工作 28天写作

GNUCash 4: 我的使用经验

lidaobing

GNUCash 28天写作

产品利益相关方小结

skylar

产品经理训练营第二章作业(一)

新盛

第2章:产品思维总结

让时间说真话

产品经理

Elasticsearch从入门到放弃:浅谈算分

Jackey

elasticsearch

产品思维和产品意识-利益相关方学习总结

mas

产品经理训练营第二次作业

猫。

共识算法的简单理解(二)

石君

28天写作 拜占庭容错 PBFT

作业二

hopeful

极客大学产品经理训练营

什么是视频?|视频号28天(19)

赵新龙

28天写作

智能汽车如何赚钱? (28天写作 Day19/28)

mtfelix

商业模式 28天写作 智能汽车 软件定义汽车

产品经理训练营 - 第二次作业

Geek_娴子

抽奖助手利益相关方和问题分析

June

产品经理训练营

keepalived 实现Nginx高可用安装

庞小辉

微软开源ONNX Runtime模型以加速Google BERT_文化 & 方法_KHARI JOHNSON_InfoQ精选文章