【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

微软开源 ONNX Runtime 模型以加速 Google BERT

  • 2020-01-22
  • 本文字数:979 字

    阅读完需:约 3 分钟

微软开源ONNX Runtime模型以加速Google BERT

微软人工智能研究院 1 月 21 日称计划开源 BERT 自然语言模型优化版本,该模型可以与 ONNX Runtime 推理引擎配合使用。在为 Bing 搜索引擎提供语言表达功能时,Microsoft 使用相同的模型来降低 BERT 的延迟。该模型“为 Bing 用户带来了最佳搜索体验” ,去年秋天发表的一篇论文中对该模型进行了详细介绍。



论文地址:https://azure.microsoft.com/en-us/blog/bing-delivers-its-largest-improvement-in-search-experience-using-azure-gpus/


公司发言人表示,这意味着开发人员可以使用 ONNX Runtime 和 Nvidia V100 GPU 大规模部署 BERT,而延迟只有 1.7 毫秒,这样的性能表现过去只能在大型科技公司中实现。


2017 年,微软与 Facebook 合作创建了 ONNX,以推动跨 AI 硬件(如半导体)和软件(如机器学习框架)之间的互操作性。BERT 优化工具增加了许多 ONNX Runtime 加速器,例如 Nvidia TensorRT 和英特尔 OpenVINO。使用 ONNX 标准意味着优化后的模型可以与 PyTorch,TensorFlow 和其他流行的机器学习模型一起运行,这种改善是得益于 Azure AI 与微软 AI 研究院的合作。


“由于 BERT 模型主要由堆叠 Transformer 单元组成,因此我们通过将多个基本运算符的关键子图融合到 CPU 和 GPU 的单个内核(包括自注意力层、LayerNormalization 和 Gelu 层)中来优化每个单元。微软高级项目经理 Emma Ning 在博客中称:“这大大减少了许多基本计算之间的内存复制。”



对于微软来说,这是其在自然语言领域取得的最新突破,但这并不是业界第一次尝试优化 BERT。大约一年前,Microsoft AI 研究人员还发布了 MT-DNN,一款基于 Transformer 提升 GLUE 语言模型性能基准的模型。


一位业内人士称,通过使用像 BERT 和 MT-DNN 等基于 Transformer 的模型,使自然语言模型在文本生成等任务中表现更优越,是 2019 年 AI 取得的最大成就之一。



微软在其他自然语言开发上也取得了一定进展。在 2019 年温哥华 NeurIPS 上,微软和浙江大学联合发布了语音合成系统 FastSpeech,与自回归的 Transformer TTS 相比,FastSpeech 将梅尔谱的生成速度提高了近 270 倍,将端到端语音合成速度提高了 38 倍,单 GPU 上的语音合成速度达到了实时语音速度的 30 倍。 在 2019 年夏季,微软还推出了会话 AI 助手工具包 Icecaps。


原文链接:


https://venturebeat.com/2020/01/21/microsoft-open-sources-onnx-runtime-model-to-speed-up-googles-bert/


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-01-22 13:355098

评论

发布
暂无评论
发现更多内容

AI智能大模型与低代码:现代应用开发的潮流趋势

EquatorCoco

人工智能 低代码 AI模型 智能模型

2024年了,为什么我还是舍弃不掉 RSS?

伤感汤姆布利柏

低代码可视化平台,在线拖拽组件太方便了!

这我可不懂

软件开发 低代码 JNPF

左耳听风 - 编程的本质「读书打卡 day 10」

Java 工程师蔡姬

读书笔记 程序员 个人成长 编程的本质 职业发展

SD-WAN企业组网场景深度解析

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商

智能语音助手在医疗行业的应用与挑战

来自四九城儿

打破束缚,重塑软件定制开发效率与质量

SoFlu软件机器人

【干货分享】常用的Python开发工具比较

快乐非自愿限量之名

Python 开发 开发语言

跨境电商的税收政策:卖家需关注的合规问题

技术冰糖葫芦

自助式可视化开发,ETLCloud的集成之路

RestCloud

可视化 ETL

数字先锋| 向“新”而生!天翼云携手中化信息按下化工行业变革加速器

天翼云开发者社区

云计算 数字化转型 云平台

你不知道的vue3:使用runWithContext实现在非 setup 期间使用inject

快乐非自愿限量之名

Java 前端 前端开发 Vue3

使用函数计算,数禾如何实现高效的数据处理?

阿里巴巴云原生

阿里云 Serverless 云原生

腾讯云ES RAG最佳实践:向量+文本混合搜索的相关性调优

腾讯云大数据

ES

语音数据集在智能语音助手中的应用与挑战

来自四九城儿

给科研人的 ML 开源发布工具包

EquatorCoco

开源 ML 工具包 安装包

可视化大屏是什么?大屏数据可视化设计指南

2D3D前端可视化开发

数据可视化 大屏可视化 可视化大屏 可视化设计

1688商品数据API接口的数据分析与挖掘技巧

Noah

聚道云如何助力企业破解审批困境,开启高效工作?

聚道云软件连接器

案例分享

Spring Boot 单体应用升级 Spring Cloud 微服务

阿里巴巴云原生

阿里云 云原生 Spring Cloud

文心一言 VS 讯飞星火 VS chatgpt (181)-- 算法导论13.4 4题

福大大架构师每日一题

福大大架构师每日一题

0.o?让我看看怎么个事儿之SpringBoot自动配置

不在线第一只蜗牛

spring 后端 springboot 后端开发

数字生态系统的演进与企业API管理的关键之路

幂简集成

API API 管理 API Hub

如何正确利用Google开辟海外市场

九凌网络

FeatInsight: 基于 OpenMLDB 的特征平台助力高效的特征管理和编排

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

Google推广之关键字匹配类型

九凌网络

构建坚固网络,SD-WAN网络配置指南

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商

每日一题:LeetCode-297. 二叉树的序列化与反序列化

半亩房顶

面试 算法 LeetCode 二叉树 DFS

美的楼宇科技携手火山引擎,共筑边缘云新型生态圈

火山引擎边缘云

边缘计算 智慧园区 智慧建筑 边缘云

Milvus 上新:支持上万个 Collection、新增 Accesslog 功能……

Zilliz

非结构化数据 Milvus Zilliz 向量数据库

SD-WAN组网设计原则:灵活、安全、高效

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商

微软开源ONNX Runtime模型以加速Google BERT_文化 & 方法_KHARI JOHNSON_InfoQ精选文章