配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)

我今年早些时候承诺的由 NVIDIA 提供支持的 G4 实例现已推出，现在，您可以在 AWS 的八个区域开始使用六种大小的实例！ 您可以将其用于机器学习训练和推理、视频转码、游戏流和远程图形工作站应用程序。

这些实例配备多达四个 NVIDIA T4 Tensor Core GPU，每个 GPU 配有 320 个 Turing Tensor 核心、2560 个 CUDA 核心和 16GB 内存。该 T4 GPU 是机器学习推理、计算机视觉、视频处理以及实时语音和自然语言处理的理想选择。该 T4 GPU 还配备 RT 核心，可提供由硬件驱动的高效光线跟踪。NVIDIA Quadro 虚拟工作站 (Quadro vWS) 可在 AWS Marketplace 中获取。该工作站支持实时光线追踪渲染，并可以加快在媒体和娱乐、建筑以及石油和天然气应用中常见的创造性工作流程。

G4 实例构建于 AWS Nitro 系统，由 AWS 定制的第二代 Intel® Xeon® 可扩展处理器 (Cascade Lake) 提供支持，该处理器配有多达 64 个 vCPU。Nitro 本地 NVMe 存储构建数据块可提供对高达 1.8TB 的快速本地 NVMe 存储的直接访问权限。Nitro 网络构建数据块可提供高速 ENA 网络。Intel AVX512-Deep Learning Boost 功能利用一组新的矢量神经网络指令（简写为 VNNI）扩展了 AVX-512。这些指令加速了多种推理算法内循环中的低精度乘法与加法运算。

实例大小如下：

我们还在研究一个裸机实例，该实例将在未来几个月内推出：

如果要在 G4 实例上运行显卡工作负载，请确保使用最新版本的 NVIDIA AMI（可在 AWS Marketplace 中获得），以便您可以访问必需的 GRID 和显卡驱动程序，以及包含最新优化和补丁的 NVIDIA Quadro 工作站映像。您可以在以下位置找到所需内容：

• NVIDIA 游戏 – Windows Server 2016

• NVIDIA 游戏 – Windows Server 2019

• NVIDIA 游戏 – Ubuntu 18.04

• 最新版本的 AWS Deep Learning AMI 支持 G4 实例。开发出该 AMI 的团队对 g3.16xlarge 实例与 g4dn.12xlarge 实例进行了基准测试，并与我共享结果。以下是部分重点内容：

• MxNet 推理（resnet50v2，无需使用 MMS 即可进行正向传递）– 速度为 2.03 倍。

• MxNet 推理（使用 MMS）– 速度为 1.45 倍。

• MxNet 训练（resnet50_v1b，1 个 GPU）– 速度为 2.19 倍。

• Tensorflow 推理（resnet50v1.5，正向传递）– 速度为 2.00 倍。

• 利用 Tensorflow 服务进行 Tensorflow 推理 (resnet50v2) – 速度为 1.72 倍。

• Tensorflow 训练 (resnet50_v1.5) – 速度为 2.00 倍。

• 基准测试使用 FP32 数值精度；如果您使用混合精度 (FP16) 或低精度 (INT8)，则可以期待更大幅度的提升。

现在，您可以在美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、美国西部（加利福尼亚北部）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、亚太地区（首尔）和亚太地区（东京）区域启动 G4 实例。我们还致力于让这些实例可在 Amazon SageMaker 和 Amazon EKS 集群中使用。

本文转载自 AWS 技术博客。

原文链接：

https://amazonaws-china.com/cn/blogs/china/now-available-ec2-instances-g4-with-nvidia-t4-tensor-core-gpus/