写点什么

微软开源 ONNX Runtime 模型以加速 Google BERT

  • 2020-01-22
  • 本文字数:979 字

    阅读完需:约 3 分钟

微软开源ONNX Runtime模型以加速Google BERT

微软人工智能研究院 1 月 21 日称计划开源 BERT 自然语言模型优化版本,该模型可以与 ONNX Runtime 推理引擎配合使用。在为 Bing 搜索引擎提供语言表达功能时,Microsoft 使用相同的模型来降低 BERT 的延迟。该模型“为 Bing 用户带来了最佳搜索体验” ,去年秋天发表的一篇论文中对该模型进行了详细介绍。



论文地址:https://azure.microsoft.com/en-us/blog/bing-delivers-its-largest-improvement-in-search-experience-using-azure-gpus/


公司发言人表示,这意味着开发人员可以使用 ONNX Runtime 和 Nvidia V100 GPU 大规模部署 BERT,而延迟只有 1.7 毫秒,这样的性能表现过去只能在大型科技公司中实现。


2017 年,微软与 Facebook 合作创建了 ONNX,以推动跨 AI 硬件(如半导体)和软件(如机器学习框架)之间的互操作性。BERT 优化工具增加了许多 ONNX Runtime 加速器,例如 Nvidia TensorRT 和英特尔 OpenVINO。使用 ONNX 标准意味着优化后的模型可以与 PyTorch,TensorFlow 和其他流行的机器学习模型一起运行,这种改善是得益于 Azure AI 与微软 AI 研究院的合作。


“由于 BERT 模型主要由堆叠 Transformer 单元组成,因此我们通过将多个基本运算符的关键子图融合到 CPU 和 GPU 的单个内核(包括自注意力层、LayerNormalization 和 Gelu 层)中来优化每个单元。微软高级项目经理 Emma Ning 在博客中称:“这大大减少了许多基本计算之间的内存复制。”



对于微软来说,这是其在自然语言领域取得的最新突破,但这并不是业界第一次尝试优化 BERT。大约一年前,Microsoft AI 研究人员还发布了 MT-DNN,一款基于 Transformer 提升 GLUE 语言模型性能基准的模型。


一位业内人士称,通过使用像 BERT 和 MT-DNN 等基于 Transformer 的模型,使自然语言模型在文本生成等任务中表现更优越,是 2019 年 AI 取得的最大成就之一。



微软在其他自然语言开发上也取得了一定进展。在 2019 年温哥华 NeurIPS 上,微软和浙江大学联合发布了语音合成系统 FastSpeech,与自回归的 Transformer TTS 相比,FastSpeech 将梅尔谱的生成速度提高了近 270 倍,将端到端语音合成速度提高了 38 倍,单 GPU 上的语音合成速度达到了实时语音速度的 30 倍。 在 2019 年夏季,微软还推出了会话 AI 助手工具包 Icecaps。


原文链接:


https://venturebeat.com/2020/01/21/microsoft-open-sources-onnx-runtime-model-to-speed-up-googles-bert/


2020-01-22 13:355499

评论

发布
暂无评论
发现更多内容

支付系统安全设计思维导图

靠谱的程序员

支付安全

Django API 开发:博客系统接入 API

宇宙之一粟

django API 6月月更

透过华为军团看科技之变(三):数据中心底座

脑极体

模块3作业(外包学生管理系统架构文档)

Geek_701557

LabVIEW控制Arduino采集多路模拟量、数字量(进阶篇—1)

不脱发的程序猿

单片机 LabVIEW VISA Arduino Uno 采集多路模拟量、数字量

Leecode上的代码到Pycharm运行解决方法

武师叔

Python pycharm Leet Code 6月月更

Java中的13个原子操作类

急需上岸的小谢

6月月更

读书笔记 之《软件架构设计: 大型网站技术架构与业务架构融合之道》

蔡农曰

读书笔记 架构 后端 后端开发 后端开发书籍

函数

Jason199

js 函数 6月月更

VistorPattern-访问者模式

梁歪歪 ♚

设计模式

MediatorPattern-中介者模式

梁歪歪 ♚

设计模式

leetcode 79. Word Search 单词搜索

okokabcd

LeetCode 搜索 算法与数据结构

HTML代码清除CSS和JS代码

入门小站

工具

Jetpack Composes 之TextField详解

坚果

6月月更

秒懂网络拓扑中的下一跳地址

wljslmz

网络协议 网络工程师 网络技术 6月月更

vue指令-1

小恺

6月月更

A Guide to Write Elegant ETL in Easy SQL

Bright

数据开发 ETL 大数据开发 EasySQL

初识SDN网络

穿过生命散发芬芳

SDN网络 6月月更

Node详细讲解

恒山其若陋兮

6月月更

git 高效操作之 range revert

Nick

git git revert 6月月更 range revert 高效操作

【技能树共建】Python requests 模块

梦想橡皮擦

6月月更

linux之zgrep查找压缩包文件文本

入门小站

Linux

mysql基础操作

工程师日月

6月月更

企业网站建设方法

源字节1号

软件开发

StatePattern-状态模式

梁歪歪 ♚

设计模式

后端提升技术资源汇总

卢卡多多

技术栈 资源汇总 6月月更

鲲鹏DevKit工具基础知识

乌龟哥哥

6月月更

MementoPattern-备忘录模式

梁歪歪 ♚

设计模式

外包学生管理系统

极客土豆

SDN系统方法 | 4. 裸金属交换机

俞凡

架构 网络 sdn SDN系统方法

【愚公系列】2022年06月 二十三种设计模式(二十三)-访问者模式(Vistor Pattern)

愚公搬代码

6月月更

微软开源ONNX Runtime模型以加速Google BERT_文化 & 方法_KHARI JOHNSON_InfoQ精选文章