8月13日，InfoQ从英伟达方面获悉，其用于开发和运行可理解和响应请求的对话式AI的GPU强化平台，已经达成了一些重要的里程碑，并打破了若干新记录，其AI平台目前拥有迄今为止最快的训练记录、最快的推断速度和最大的训练模型。

最快的训练速度：

英伟达的AI平台仅需53分钟就能够完成模型训练，经过训练的模型在短短2毫秒多一点的时间里（10毫秒在业内被认为是高水平线）就能够成功地做出推理（即利用通过训练学习到的能力得出结果），这创造了新的记录。

英伟达能够使用优化的PyTorch软件和超过1000个GPU的DGX-SuperPOD 训练BERT-Large ，能够在53分钟内训练BERT。

“如果没有这种技术，训练其中一种大型语言模型可能需要数周时间” ，英伟达应用深度学习副总裁Bryan Catarazano表示。

最快的推理时间

英伟达称，通过运行Tesla T4 GPU和针对数据中心推理优化的TensorRT 5.1上运行数据中心推理，它已经实现了最快的BERT推理时间 —— 2.2毫秒。Catarazano表示，当CPU服务时，BERT推理最多需要40毫秒，而现在的许多会话式人工智能操作会在10毫秒内完成。

有史以来最大NLP模型

除了上述记录，英伟达还发布了全球最大的基于 Transformer的 NLP模型——MegatronLM（威震天）。“威震天” 使用了83亿个参数，其大小是BERT-Large（当前最大的核心BERT模型，BERT是世界上最先进的人工智能语言模型之一，也被广泛认为是NLP标杆的先进模型）的24倍，比OpenAI 的GPT—2 大5倍。

所有实验是在英伟达的DGX SUperPOD上进行的。这项工作中，英伟达在现有的深度学习硬件，软件和模型之上构建了世界上最大的基于Transformer 的语言模型，在具有8路模型并行性的512个NVIDIA V100 GPU上有效地训练了一个83亿参数语言模型，并在整个应用程序中实现高达15.1 PetaFLOPS。

通过实施简单有效的模型并行方法，英伟达成功地超越了传统单GPU训练所带来的限制，只对现有PyTorch变换器实现进行了少量有针对性的修改。

这些代码使用本机Python编写，易于运行，利用混合精度培训，并利用NCCL库在GPU之间进行通信。由于缩放比例较弱，英伟达发现越来越大的变压器模型可以在相同的时间内训练，与较小的变压器相比，可以显着提高性能。

大规模语言建模对于诸如文章补全、问答和对话系统等NLP任务非常有用，训练最大的神经语言模型是推进NLP应用程序最先进技术的最佳方式。“大型语言模型正在为自然语言革新人工智能“，Catarazano表示，”他们正在帮助我们解决异常困难的语言问题，使我们更接近真正对话AI的目标 ” 。

代码已在Github中开源

英伟达已经在Github中开源了上述每项专长的代码，以帮助AI从业者和研究人员探索创建大型语言模型或加速GPU的推广或推理。

开源地址：https://github.com/NVIDIA/Megatron-LM

GPU还帮助微软的Bing改善搜索结果，Bing使用英伟达硬件将延迟时间缩短了一半。微软必应集团项目经理表示，与基于CPU的平台相比，在使用Azure NVIDIA GPU进行推理时，微软实现了2倍的延迟减少和5倍的吞吐量改进。

通过为其AI平台和GPU添加关键优化，英伟达的目标是成为会话式人工智能服务的主要提供商。现在英伟达打破了实时会话AI记录，谷歌XLNet、微软MT-DNN、Facebook的RoBERTa等竞争对手有压力了。

参考链接：

https://nv-adlr.github.io/MegatronLM

创作场景

超 BERT 24 倍！英伟达发布有史以来最大 NLP 模型 MegatronLM