深入理解 nvidia-docker 2.0

上篇推送我们介绍了 nvidia-docker 2.0 在我司大规模 Kubernetes 集群上的实践，本篇文章就将介绍相较于旧版本，nvidia-docker 2.0 的设计优势及其实现机制，希望能对大家有所帮助。本文首发于 OpsDev.cn，转载已获取作者授权。

NVIDIA 于 2016 年开始设计 NVIDIA-Docker 已便于容器使用 NVIDIA GPUs。 第一代 nvidia-docker1.0 实现了对 docker client 的封装，并在容器启动时，将必要的 GPU device 和 libraries 挂载到容器中。

1 nvidia-docker 存在的问题

但是这种设计的方式高度的与 docker 运行时耦合，缺乏灵活性。存在的缺陷具体如下:

• 设计高度与 docker 耦合，不支持其它的容器运行时。如: LXC, CRI-O 及未来可能会增加的容器运行时。

• 不能更好的利用 docker 生态的其它工具。如: docker compose。

• 不能将 GPU 作为调度系统的一种资源来进行灵活的调度。

• 完善容器运行时对 GPU 的支持。如: 自动的获取用户层面的 NVIDIA Driver libraries, NVIDIA kernel modules, device ordering 等。

基于上面描述的这些弊端，NVIDIA 开始了对下一代容器运行时的设计: nvidia-docker2.0。

2 nvidia-docker 2.0 的实现机制

基础知识

先简单介绍下 nvidia-docker 2.0, nvidia-container-runtime,libnvidia-container 以及 runc 直接的关系。

• nvidia-docker2.0

• (https://github.com/NVIDIA/nvidia-docker) 是一个简单的包，它主要通过修改 docker 的配置文件/etc/docker/daemon.json 来让 docker 使用 NVIDIA Container runtime。

• nvidia-container-runtime

• (https://github.com/NVIDIA/nvidia-container-runtime) 才是真正的核心部分，它在原有的 docker 容器运行时 runc 的基础上增加一个 prestart hook

• (https://github.com/NVIDIA/nvidia-container-runtime), 用于调用 libnvidia-container 库。

• libnvidia-container

• (https://github.com/NVIDIA/nvidia-docker) 提供一个库和一个简单的 CLI 程序，使用这个库可以使 NVIDIA GPU 使用 Linux 容器。

• runc

• (https://github.com/opencontainers/runc) 一个命令行工具，会根据标准格式的 Open Containers Initiative

• (https://developer.nvidia.com/nvidia-container-runtime) 创建容器。也是 docker 默认的容器运行时。

实现机制

它们之间的关系可以通过下面这张图关联起来:

上面已经介绍了各个组件的作用以及它们之间的关系，接下来详细的描述下这张图:

正常创建一个容器的流程

docker --> dockerd --> docker-containerd-shm -->runc --> container-process

docker 客户端将创建容器的请求发送给 dockerd, 当 dockerd 收到请求任务之后将请求发送给 docker-containerd-shm

(其实就是 containerd)。

前面没有介绍到 containerd。这里简单的介绍下,containerd,它主要负责的工作是:

• 管理容器的生命周期(从容器的创建到销毁)

• 拉取/推送容器镜像

• 存储管理(管理镜像及容器数据的存储)

• 调用 runc 运行容器

• 管理容器的网络接口及网络

containerd 的定位是:

containerd 被设计成嵌入到一个大系统中，而不是给开发人员和终端的设备使用。

关于 containerd 的详细说明，请查看 containerd (https://github.com/containerd/containerd)。

当 containerd 接收到请求之后，做好相关的准备工作，会去调用 runc,而 runc 基于 OCI 文件对容器进行创建。这是容器创建的整体流程。

创建一个使用 GPU 容器的流程

docker--> dockerd --> docker-containerd-shim-->nvidia-container-runtime -- > container-process

基本流程和普通不使用 GPU 的容器差不多，只是把 docker 默认的运行时替换成了 NVIDIA 自家的 nvidia-container-runtime。 这样当 nvidia-container-runtime 创建容器时，先执行 nvidia-container-runtime-hook 这个 hook 去检查容器是否需要使用 GPU(通过环境变量 NVIDIA_VISIBLE_DEVICES 来判断)。如果需要则调用 libnvidia-container 来暴露 GPU 给容器使用。否则则走默认的 runc 逻辑。

3 总结

说到这里 nvidia-docker2.0 的大体机制基本就通了。但是涉及到的 nvidia-container-runtime, libnvidia-container, containerd,runc 这些项目， 这本篇文章里面就不一一介绍了。

本文转载自公众号 360 云计算（ID：hulktalk）。

原文链接：

https://mp.weixin.qq.com/s/UKwbNKlEYLq_s2tbx-ZV0g