自2007年NVIDIA率先推出GPU加速器后，由于GPU的超强的计算能力，现已广泛应用于物理、生物科学、化学、天气预报等需要高性能计算的领域。实际运用中，为缩减计算时间，应用程序往往同时使用多卡进行并行计算，这里的多卡包括单个服务器多张GPU卡(下简称单机多卡)，和多个服务器，且每个服务器分别有多张卡的场景(下称多机多卡)。同时，由于用于计算的数据量较大，GPU多卡之间的通信尤为重要，本文主要探索GPU单机多卡和多机多卡两种场景下的通信技术，并对部分技术进行实测。

1、单机间GPU通信

1.1 GPU Direct

使用GPU Direct技术，多个GPU、网络和存储设备可以直接读写主机和设备内存，减少不必要的内存拷贝和CPU开销，降低网络延迟，进而获得性能的提升。

GPUDirect技术发展有三个阶段：

2010年，GPU支持与网卡，存储等设备共享内存页，即GPUDirect Shared Memory;
2011年，NVIDIA推出GPUDirect P2P（Peer-to-Peer），支持同一PCIe总线上的GPU之间的内存访问;
2012年底，GPUDirect RDMA完美的解决了计算集群节点间GPU卡PCIe总线的通信问题。该技术将在多机的GPU通信中详细说明。

1.1.1 GPUDirect Shared Memory

GPUDirect SharedMemory支持GPU与第三方PCIe设备通过共享的host memory实现共享内存。下图对未使用GPUDirect和使用GPUDirect后的GPU之间通信的数据拷贝进行了对比。

图1：without GPUDirect vs with GPUDirect（来源）

可以看出支持GPUDirect SharedMemory后，GPU之间的通信仅需要两次拷贝：

先从GPU缓存拷贝到系统内存
对端GPU缓存从系统内存拷贝数据

相较于未使用GPUDirect减少了一次数据拷贝，降低了数据交换的延迟。

1.1.2 GPUDirect P2P

图2：GPUDirect P2P通信（来源）

GPUDirect P2P支持相同PCIe root complex下的GPU之间的直接互访显存，如上图所示，GPU之间的通信不需要将数据拷贝到CPU host memory作为中转，进一步的降低了数据交换的延迟。

1.2 NVLink

GPUDirect P2P技术中，多个GPU通过PCIe直接与CPU相连，而PCIe 3.0*16的双向带宽不足32GB/s，当训练数据不断增长时，PCIe的带宽满足不了需求，会逐渐成为系统瓶颈。为提升多GPU之间的通信性能，充分发挥GPU的计算性能，NVIDIA于2016年发布了全新架构的NVLink。

NVLink 1.0与P100 GPU一同发布，一块P100上，可集成4条NVLink连接线，每条NVLink具备双路共40GB/s的带宽，整个芯片的带宽达到了160GB/s（4（NVLink连接线）40GB/s），相当于PCIe 3.016的5倍。

NVLink 2.0版本与Tesla V100 GPU一同发布，NVLink 2.0每个方向的信号发送速率从20GB/s增加到25GB/s，每条NVLink双信道最大达到50GB/s。单个V100 GPU支持6条NVLink连接线，总带宽最大可达300GB/s（6（NVLink连接线）*2（双向）*25GB/s），是PCIe 3.0带宽的将近10倍。

1.2.1 拓扑

图3：NVLink拓扑（来源）

上图是使用NVLink连接8个Tesla V100的混合立体网络拓扑。图中也以看出每个V100 GPU有6个NVLink通道（绿色连接线），8块GPU间无法做到全连接，2个GPU间最多只能有2个NVLink通道100GB/s的双向带宽。有趣的是GPU 0和3，GPU 0和4之间有2条NVLink相连，GPU0和GPU1之间有一条NVLink连接线，GPU 0和6之间没有NVLink连接线，也就是说GPU0与GPU6之间的通信仍然需要通过PCIe。

1.2.2 实测

测试方法及环境：参考 cuda sample的readme，在ubuntu16.04镜像中安装好cuda toolkit 10.0，编译好二进制，然后保存镜像。在华为云CCI（Cloud Container Instance）服务中，使用刚制作好的镜像，选择规格：GPU计算加速型P2（支持NVLink的Tesla V100 32G * 8卡）
创建一个无状态负载。测试结果及说明如下：

图4：GPU间连通性矩阵

该图为GPU之间的连通性，图中可以看出任何两个GPU设备之间是否可以直接通信，考虑到该服务器支持NVLink，即可以看出任两个GPU设备之间是否有NVLink连接，但是无法看出GPU设备间NVLink的连接线个数。

图5：Disable P2P vs Disable P2P单向的带宽

该图测试的是enable GPUDirect P2P和Disable GPUDirect P2P的单向带宽数据。图中数据可看出，Enable GPUDirect P2P时，两个GPU间通信带宽最大可达到48.34GB/s，接近两条NVLink的理论带宽50GB/s；部分GPU间通信带宽在24GB/s左右，接近一条NVLink连接线的理论带宽25GB/s；11GB/s左右的带宽为PCIe带宽。

从这组数据也能够看出GPU之间的NVLink连接线个数如下表所示，与前面的NVLink拓扑图一致：

图6：Disable P2P vs Disable P2P双向的带宽

该图测试的是enable GPUDirect P2P和Disable GPUDirect P2P的双向带宽数据。图中数据可看出，Enable GPUDirect P2P时，两个GPU间通信带宽最大可达到96.50GB/s，接近两条NVLink的双向通信的理论带宽100GB/s；部分GPU间通信带宽在48GB/s左右，接近一条NVLink连接线双向通信的理论带宽50GB/s；14-18GB/s的带宽为PCIe带宽

图7：Disable P2P CPU vs GPU时延矩阵

图8：Enable P2P CPU vs GPU时延矩阵

上面两张图为enable GPUDirect P2P和Disable GPUDirect P2P的时的GPU和CPU时延数据，可以看出enable GPUDirect P2P后，时延下降明显，只要用NVLink连接，GPU时延从17us下降到不足2us，CPU时延也从8us多下降到不足3us。

从上面的测试结果也能看出单机多卡中，有NVLink连接的GPU之间的通信性能提升明显。但是如果进行单机训练时只需要用到2卡或者4卡时，如果随机分配GPU卡，岂不是会出现GPU之间没有NVLink连接线？不用担心，华为云CCI服务在调度层保证了基本不会出现该问题，调度时会保证GPU之间有NVLink连接线，从而能充分享受到NVLink技术带来的性能提升。

1.3 NVSwitch

前面也看到，NVLink2.0技术使得单服务器中8个GPU无法达到全连接，为解决该问题，NVIDIA在2018年发布了NVSwitch，实现了NVLink的全连接。NVIDIA NVSwitch是首款节点交换架构，可支持单个服务器节点中16个全互联的GPU，并可使全部8个GPU对分别达到300GB/s的速度同时进行通信。

下图为16个GPU通过NVSwitch全连接拓扑图。

图9：NVSwitch全连接拓扑（来源）

2、多机间的GPU通信

2.1 RDMA & Infiniband

2.1.1 RDMA

由于计算数量巨大，多机多卡的计算/训练已经是一个常态，多机间的通信是影响分布式训练行的一个重要指标。在传统的TCP/IP网络通信中，如下图所示，数据发送方需要将数据进行多次内存拷贝，并经过一系列的网络协议的数据包处理工作；数据接收方在应用程序中处理数据前，也需要经过多次内存拷贝和一系列的网络协议的数据包处理工作。经过这一系列的内存拷贝、数据包处理以及网络传输延时等，server间的通信时延往往在毫秒级别，不能够满足多机多卡场景对于网络通信的需求。

图10：TCP/IP网络通信

RDMA（Remote Direct Memory Access）就是为了解决网络传输中数据处理延迟而产生的一种远端内存直接访问技术，RDMA技术原理及其与TCP/IP架构的对比如下图：

图11：传统模式 vs RDMA模式网路通信

可以看出RDMA模式的数据传输没有经过一系列的网络协议的数据包处理，通过网络设备，服务器1可以直接读写服务器2的内存。使用RDMA技术的优点主要有：

Kernel Bypass: 旁路内核，CPU卸载。实测中40Gbps流量CPU占有率只有5%
zero copy: 内存零拷贝，直接从网卡复制到应用内存，服务器内部处理时延低至1～2微秒
因此RDMA可以实现服务器间的超低时延、超高吞吐量传输。

2.1.2 RDMA的三种硬件实现

目前RDMA有三种不同的硬件实现：

Infiniband（IB）：专为RDMA设计的网络，从硬件层面保证可靠传输，同时由于这是一种新的网络技术，需要支持该技术的NIC和交换机。
RoCE(RDMA over Converged Ethernet)：RoCE是一种允许通过以太网进行RDMA的网络协议。RoCE有2个版本：RoCE v1和RoCE v2。RoCE v1是一种链路层协议，允许在同一个广播域下的任意两台主机直接访问；RoCE v2基于UDP层协议，实现了路由功能，RoCE v2针对RoCE v1进行了一些改进，如引入IP解决扩展性问题，可以跨二层组网等。
iWARP（internet Wide Area RDMA Protocol：允许在TCP上执行RDMA的网络协议。在大型组网的情况下，iWARP的大量TCP连接会占用大量的额外内存资源，对系统规格要求较高。

图12：三种RDMA技术的软件栈 (来源)

2.2 GPU Direct RDMA

2.2.1 简介

GPUDirect RDMA技术支持Server1的GPU内存可以通过同一root complex下的网卡直接访问对端Server2的GPU内存，如下图所示。GPU通信通道中无需CPU参与，大幅度降低了CPU间通信的延迟。

图13：GPUDirect RDMA (来源)

将GPUDirect 1.0与GPUDirect RDMA的通信进行对比，也能看出使用GPUDirect RDMA进一步减少了GPU通信的数据复制次数，进一步降低了通信延迟。

图14：GPUDirect 1.0 vs GPUDirect RDMA

2.2.2 性能

中科曙光基于GPUDirect RDMA的性能测试的结果显示，GPUDirect RDMA在小包通信的传输带宽和网络延迟方面可以带来至少3倍的性能提升(数据来源)。

在40Gbps以太网上测试GPUDirect RDMA的性能测试结果如下。

图15：enable GDR vs disable GDR吞吐量 (来源)

上图比较了不同的I/O size，使用GPUDirect RDMA和不使用的吞吐量数据。结果显示I/O size越大，GPUDirect RDMA的优势越明显，在I/O size在8192时，GPUDirect RDMA有4倍的性能提升。

图16：enable GDR vs disable GDR时延 (来源)

上图为不同的I/O size下，使用GPUDirect RDMA和不使用时的时延数据。数据显示在使用GPUDirect RDMA后，时延显著降低，从接近20微妙下降到10微妙左右。

2.3 IPOIB

IPoIB（Internet Protocol over InfiniBand），指利用物理IB网络（包括服务器上的IB卡、IB连接线、IB交换机等）通过IP协议进行连接，并进行数据传输。它提供了基于RDMA之上的IP网络模拟层，允许应用无修改的运行在Infiniband网络上。但是，IPoIB 仍然经过内核层（IP Stack），即会产生大量系统调用，并且涉及 CPU 中断，因此IPoIB性能比RDMA通信方式性能要低，大多数应用都会采用RDMA方式获取高带宽低延时的收益，少数的关键应用会采用IPoIB方式通信。

3、总结

本文主要介绍了GPU间通信技术，包括单机多卡间的GPUDirect和NVLink技术，多机多卡间的IPOIB和GPUDirect RDMA技术。在大规模计算中，单机场景下使用NVLink技术，分布式场景下使用GPUDirect RDMA技术，可以极大的缩短通信时间，提升整体性能。

当前华为云CCI （Cloud Container Instance）服务已提供搭载NVLink的Tesla V100服务器，同时支持IB卡用于分布式场景下通信加速，后续我们选择一些训练场景进行实测。

4、参考

NVIDIA GPUDirect
GPUDirect RDMA，让加速更深入
 NVIDIA GPUDirect™ Technology – Accelerating GPU-based Systems
浅析GPU通信技术（上）-GPUDirect P2P
浅析GPU通信技术（中）-NVLink
浅析GPU通信技术（下）-GPUDirect RDMA
NVLINK 结构
 NVIDIA NVSWITCH:The World’s Highest-Bandwidth On-Node Switch
NVSWITCH AND DGX-2:NVLINK-SWITCHING CHIP AND SCALE-UP COMPUTE SERVER
Accelerating High Performance Computing with GPUDirect RDMA
S8474 - GPUDirect: Life in the Fast
Mellanox OFED GPUDirect RDMA
How Ethernet RDMA Protocols iWARP and RoCE Support NVMe over Fabrics

创作场景

GPU 通信技术初探（一）