写点什么

微软开源 ONNX Runtime 模型以加速 Google BERT

  • 2020-01-22
  • 本文字数:979 字

    阅读完需:约 3 分钟

微软开源ONNX Runtime模型以加速Google BERT

微软人工智能研究院 1 月 21 日称计划开源 BERT 自然语言模型优化版本,该模型可以与 ONNX Runtime 推理引擎配合使用。在为 Bing 搜索引擎提供语言表达功能时,Microsoft 使用相同的模型来降低 BERT 的延迟。该模型“为 Bing 用户带来了最佳搜索体验” ,去年秋天发表的一篇论文中对该模型进行了详细介绍。



论文地址:https://azure.microsoft.com/en-us/blog/bing-delivers-its-largest-improvement-in-search-experience-using-azure-gpus/


公司发言人表示,这意味着开发人员可以使用 ONNX Runtime 和 Nvidia V100 GPU 大规模部署 BERT,而延迟只有 1.7 毫秒,这样的性能表现过去只能在大型科技公司中实现。


2017 年,微软与 Facebook 合作创建了 ONNX,以推动跨 AI 硬件(如半导体)和软件(如机器学习框架)之间的互操作性。BERT 优化工具增加了许多 ONNX Runtime 加速器,例如 Nvidia TensorRT 和英特尔 OpenVINO。使用 ONNX 标准意味着优化后的模型可以与 PyTorch,TensorFlow 和其他流行的机器学习模型一起运行,这种改善是得益于 Azure AI 与微软 AI 研究院的合作。


“由于 BERT 模型主要由堆叠 Transformer 单元组成,因此我们通过将多个基本运算符的关键子图融合到 CPU 和 GPU 的单个内核(包括自注意力层、LayerNormalization 和 Gelu 层)中来优化每个单元。微软高级项目经理 Emma Ning 在博客中称:“这大大减少了许多基本计算之间的内存复制。”



对于微软来说,这是其在自然语言领域取得的最新突破,但这并不是业界第一次尝试优化 BERT。大约一年前,Microsoft AI 研究人员还发布了 MT-DNN,一款基于 Transformer 提升 GLUE 语言模型性能基准的模型。


一位业内人士称,通过使用像 BERT 和 MT-DNN 等基于 Transformer 的模型,使自然语言模型在文本生成等任务中表现更优越,是 2019 年 AI 取得的最大成就之一。



微软在其他自然语言开发上也取得了一定进展。在 2019 年温哥华 NeurIPS 上,微软和浙江大学联合发布了语音合成系统 FastSpeech,与自回归的 Transformer TTS 相比,FastSpeech 将梅尔谱的生成速度提高了近 270 倍,将端到端语音合成速度提高了 38 倍,单 GPU 上的语音合成速度达到了实时语音速度的 30 倍。 在 2019 年夏季,微软还推出了会话 AI 助手工具包 Icecaps。


原文链接:


https://venturebeat.com/2020/01/21/microsoft-open-sources-onnx-runtime-model-to-speed-up-googles-bert/


2020-01-22 13:355518

评论

发布
暂无评论
发现更多内容

高效打通,释放人力——聚道云软件连接器助力生产制造行业人力资源信息交互

聚道云软件连接器

TiDB 7.1 多租户在中泰证券中的应用

PingCAP

数据库 TiDB

0.1+0.2≠0.3,揭秘Python自带的Bug

程序员晚枫

Python

如何快速获取抖音新用户/用户信息

谷云科技RestCloud

抖音 数据同步 ETL

Solana 生态铭文跨链桥 Sobit 是何神圣?其场外白名单已达到1200U

股市老人

七功能遥控编解码芯片

芯动大师

2023 IoTDB Summit:清华大学软件学院院长王建民《清华数为:可组装的工业大数据软件栈》

Apache IoTDB

普及旗舰音质,打造一加用户首选!一加 Buds 3定档1月4日发布

编程猫

Kubernetes调试终极武器: K8sGPT

俞凡

人工智能 Kubernetes SRE ChatGPT

ERP系统与智能商品系统在供应链管理上的区别和优势在哪些方面?

第七在线

C 语言中的 switch 语句和 while 循环详解

小万哥

程序人生 编程语言 软件工程 C/C++ 后端开发

Kubernetes常见的三种网络插件Flannel、Calico、Weave Net的比较:

虚实的星空

基于 KubeBlocks 的 PikiwiDB(原Pika) 云化下一站

小猿姐

数据库 云计算

边缘计算:将未来的计算力带到你的指尖

啊川..

聚道云实现浙商银行与易快报完美互通,助力企业财务完成数字化转型

聚道云软件连接器

TiDB 助力保险业首个全栈自主的核心保单系统成功投产

PingCAP

数据库 TiDB 保险业

中&美程序员,其实就差在这6点了

伤感汤姆布利柏

程序员 IT

实时渲染与离线渲染优势浅析-3D可视化技术

3DCAT实时渲染

云渲染 实时渲染

TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

PingCAP

数据库 TiDB pingCAP

云原生场景下月省 10 万元资源成本,这家企业做对了什么

阿里巴巴云原生

阿里云 容器 云原生

多语言应用监控最优选,ARMS 应用监控 eBPF 版正式发布

阿里巴巴云原生

阿里云 云原生

按图搜索淘宝商品接口(拍立淘)(Taobao.item_search_img)

tbapi

按图搜索淘宝商品接口 图片搜索商品接口 图片搜索API接口 拍立淘API接口 淘宝图片搜索接口

聚道云受邀参加【中国算谷·智慧庆阳】算力行动推进大会

聚道云软件连接器

内嵌AI智能会议、AI临时分身、AI降噪等创新技术,ThinkPad X1 Carbon AI发布

科技范儿

2023 年中国金融级分布式数据库市场报告:TiDB 位列领导者梯队,创新能力与增长指数表现突出

PingCAP

数据库 TiDB

阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战

阿里巴巴云原生

阿里云 容器 云原生

为什么市场称SoBit 是铭文跨链赛道真正的龙头?

股市老人

云原生时代的安全变化趋势

穿过生命散发芬芳

微软开源ONNX Runtime模型以加速Google BERT_文化 & 方法_KHARI JOHNSON_InfoQ精选文章