随着更好的计算能力、更多的数据，以及更便捷的开源框架的出现，深度学习开始在传统领域崭露头角，然而其环境配置的复杂性让人望而生畏，本文则是在作者多次实战部署的基础上，对不同情况下的深度学习开发环境配置进行了深入的讲解，旨在消除配置壁垒，让你能够零基础快速上手深度学习。

引言

如今，得益于低成本和大容量的存储设备，我们拥有了远多于以往的数据。不论有多少炒作的成分，我们还是要感谢大数据。但是，真正的MVP应该是更快和更好的计算能力，正因为有了这样的计算能力，我们才可以把二十世纪八九十年代的论文真正应用到实际中去（LSTM实际上是在1997年被发明的）。随着更快更好的CPU（中央处理器）和GPU（图形处理器）的出现，我们也终于能够发挥出神经网络和深度学习的真正力量。承认与否，在处理那些高维度、非结构化数据、高复杂度和大容量数据的问题时，传统的统计学和机器学习模型事实上具有严重的局限性。

来源:https://twitter.com/andrewyng/status/700086119333892096

深度学习已经开始在这些领域崭露头角，我们也看到它逐步被应用到一些现实世界中的规模化问题上。著名的人工智能传奇人物吴恩达在几年前也提到过相同的问题！

深度学习的优势在于，在构建解决方案时，我们拥有更好的计算能力、更多的数据，以及各种各样易于使用的开源框架，例如Keras、Tensorflow以及Pytorch等。

深度学习的劣势在于，从零开始建立自己的深度学习环境是一个非常痛苦的过程，尤其是在我们要迫切编写代码和实现深度学习模型的时候。

本文则是在作者多次实战部署的基础上，借助已有服务，尽可能避免从零创建深度学习环境，从而让你可以专注于快速构建学习模型，更快地解决问题。本文主要包括以下方面：

最小化配置的云深度学习环境
构建自定义配置的云深度学习环境
构建本地开发环境的建议

直截了当，让我们开始吧！

最小化配置的云深度学习环境

如果你不想购买额外的专用硬件，也不想面对那些讨厌的配置文件和设置命令，那使用一个已经预先配置的云深度学习环境将会是你最好的选择。很多云供应商已经提供了对深度学习的支持。下面的几种云服务只需要让我们进行最少的配置就能立即开始工作。需要一提的是，下列选项只是来自个人经验以及一些深度学习从业者的建议，并不代表全部。

我们接下来会介绍一些使用它们的必要知识，以便让你尽快上手。除此之外，我们更希望你能够主动探索，了解它们的细节，从而选出一个最适合自己的服务！

谷歌 Colaboratory

Colaboratory也许是谷歌提供的一个最好的选项。它本身免费，能够支持基于GPU甚至TPU（张量处理器）的深度学习环境，而且支持运行交互式Jupyter Notebook。谷歌一直在积极推广它在各个领域中的应用，其中就包括广受欢迎的机器学习Crash Course课程。本质上，Colaboratory是一个免费的Jupyter Notebook开发环境，它不需要任何设置，并且让你免费使用GPU去运行深度学习模型。详情请参阅本文。

默认情况下，你可以得到一个基于CPU的深度学习环境，该环境预装了所有的库，可以使用以下代码验证。

现如今，这种开发环境只能处理那些计算任务和数据量较少的相对简单的模型，更多时候我们需要利用GPU来解决更复杂的问题。Google Colab只需要数秒就可以将运行时从CPU更改为GPU，操作如下所示：

完成上述操作后，Google Colab将申请一个新的基于GPU的深度学习环境，我们可以使用如下指令查看GPU类型：

通过上图可知，我们免费获得了一个具有12GB显存的Tesla K80 GPU，这相当于AWS中价值0.9美元/小时的p2.xlarge实例。最后，可以使用下面的代码来确认正在使用GPU的深度学习类库。

以上步骤应该能够让你快速上手Google Colab，运行自己的深度学习模型。如果你也在使用Colab来测试CPU/GPU深度学习环境，欢迎参阅作者的代码。

Paperspace Gradient

Gradient是Paperspace公司提供的一个产品。Paperspace公司专注于面向机器学习和数据科学的基础设施服务。它为开发人员提供了一套完整的工具，用于探索数据、训练深度学习模型以及在GPU上运行计算任务。Gradient是一个支持了Paperspace GPU云全部功能的一键式Jupyter Notebook开发环境。更多未来信息请参阅视频。

以下是他们的一些基本用户方案(更多方案信息参阅此处)。

我们需要按小时支付GPU的使用费用，但价格要比其他服务供应商便宜，Quadro P4000方案仅0.5美元/小时，而Tesla K80方案也不过0.59美元/小时，这要比AWS中同类型选项便宜。

Floydhub Workspace

FloydHub Workspace是Floydhub公司提供的一个有趣的产品，该产品旨在提供一个完全配置的云深度学习开发环境，从而避免了自定义构建的麻烦。尽管该服务并不免费，但它可以实现CPU和GPU的无缝切换，并且方案费用按秒支付！

Workspace也是一个不错的选择，毕竟我们可以得到一个Tesla K80、12GB显存、61GB内存和200GB固态硬盘的开发环境，而价格仅为用10小时12美元。

Lambda GPU云

Lambda Labs或Lambda是一家人工智能基础设施公司，通过提供计算能力来加速人类进步。他们专注于深度学习工作站，最近发布了Lambda GPU云，目前该服务仍处于封闭测试阶段。每个Lambda GPU云实例都有4个GPU，比AWS中的p2.8xlarge实例多了一倍。Lambda声称，我们只需按下一个按钮，就可以立即通过SSH远程访问一个4-GPU实例。其价格为0.9美元每小时每GPU。你可以在这里注册一个内部测试账户。

亚马逊深度学习机器镜像

亚马逊网络服务(AWS)是亚马逊的一个子公司，它通过付费订阅的方式为客户提够所需要的云计算平台。最近，他们发布了亚马逊深度学习机器镜像AMIs（Amazon Machine Images），专门用于GPU密集的工作负载，例如构建深度学习模型等。AWS深度学习AMIs为我们提供了必要的基础设施以及预先配置的工具和框架，用于加速云中的深度学习开发。它几乎预先配置了所有最新和最好的深度学习框架：

你可以使用一个Conda AMI，它为每个深度学习框架提都提供了单独的虚拟环境；你也可以使用一个Base AMI，用于自定义配置和构建。

CondaAMIs中的虚拟环境

欢迎查阅这里的深度学习AMI指南，以及如何使用Conda和Base AMIs。在使用AWS实例时要格外小心，因为你是按小时收费的。最便宜的选项是p2.xlarge，它有12GB的GPU，价格为每小时0.9美元。

GCP深度学习虚拟机镜像

GCP（Google Cloud Platform），谷歌云平台，为我们提供了一整套的云计算服务，其中包括运行深度学习模型和工作负载的基础设施。比较好的是，这项服务同谷歌内部其他最终用户产品一样，都使用了相同的基础设施。在新注册用户的第一年里，GCP还会免费提供价值300美元的使用积分，这非常酷！

谷歌云深度学习虚拟机镜像允许开发人员在谷歌计算引擎(Google Compute Engine)实例上实例化一个虚拟机镜像，该镜像预装了流行的深度学习和机器学习框架。我们可以在计算引擎实例中启动一个预装的ML流行框架(如TensorFlow、PyTorch或Scikit-Learn)。更多内容参阅此网页。最棒的是，我们也可以通过一键点击来添加对TPU和GPU的支持。它的价格也非常具有竞争力，比AWS要便宜得多。对于GCP虚拟机，我们可以用每小时0.45美元的价格使用12GB的Tesla K80GPU！更多价格信息请点击这里。

相信以上选项应该能给你一个潜在目标，让你用最少的配置来开始深度学习之旅。

构建自定义配置的云深度学习环境

虽然使用预配置的云环境非常方便，但有时候我们仍然需要在云或者本地构建一个自定义深度学习环境。在本节中，我们将利用一个任意的云服务平台，远程构建一个健壮的深度学习环境。主要步骤如下:

选择云供应商
创建虚拟服务器
配置虚拟服务器
配置自定义深度学习环境
访问你的深度学习环境
验证GPU支持

现在让我们详细了解一下如何配置一个云深度学习环境。

选择云供应商

现在有多家云供应商提供价格合理且具有竞争力的服务，我们也在前面也介绍了一些。我们希望借助平台即服务(PaaS)的便利条件，这样我们就可以只负责管理自己的数据和应用程序，以及一些仅限于GPU计算的基本配置。下图显示了深度学习从业者经常使用的一些云供应商：亚马逊的AWS、微软的Azure和谷歌的GCP。

提供深度学习实例的云提供商

创建虚拟服务器

在选择好云服务供应商后，我们下一步要创建一个VM（虚拟机）实例。它本质上就是一个托管代码、数据和配置设置的服务器。创建VM的步骤取决于所选择的云提供商。下面的分步教程展示了如何在AWS和GCP中创建和设置个人实例。

使用AWS深度学习AMI创建和设置云实例
使用GCP平台创建和设置云实例

作者也在《迁移学习Python实战指南》第二章中介绍了如何在AWS上创建和实例化一个VM。整个代码库都是开源的，代码详见GitHub库。

配置虚拟服务器

一旦创建了实例，你就可以通过云供应商的平台启动它。我们通常使用AWS中的EC2用户界面或GCP中的VM实例页面。启动实例后我们通常需要一个私钥使SSH能够从本地终端登录到服务器。AWS允许我们在创建VM的最后一步中设置自己的密钥，并提供一个可下载的密钥。GCP则允许我们在GCP实例页面直接使用SSH登录到系统。然后，如果没有密钥的话，可以按照此处指南创建自己的SSH密钥。

记住要妥善保存自己的SSH密钥，然后你就可以使用如下命令从终端登录到服务器了。

恭喜！现在你已经成功登录到深度学习服务器中。在这里我们假设你使用了Linux服务器来进行深度学习的配置，我们使用的是Ubuntu 18.10，当然你可以按照自己的喜好选择其他Linux发行版！

因为我们主要使用Jupyter Notebook进行原型开发，所以很有必要为Jupyter Notebook服务器设置一个密码，这样陌生人即使获取了你的公共IP地址也无法使用它。当然，如果你就是不想设置密码，可以跳过本节设置密码的步骤。下图展示了如何利用OpenSSL创建一个新的SSL证书。

如果你的系统还没有安装python，那我们建议你安装Anaconda发行版，因为该发行版内带了一个很棒的包管理系统，并预先安装了很多库。安装过程请参照官方指南。

下一步我们为Jupyter Notebook服务器生成了一个配置文件。通常该文件位于~/.jupyter/jupyter_notebook_config.py。如果不存在，可以使用以下命令创建。

为启用Notebook的密码保护，我们需要首先生成一个密码及其散列。具体可以使用Ipython.lib中的passwd()函数实现，过程如下所示:

一旦你输入了密码并完成了验证，该函数将返回这个密码的散列值（在本例中，我使用了单词password作为密码，但你绝对不要在实际配置中使用!）。接下来复制并保存该散列值，因为我们很快就会需要它。最后，启动你最喜欢的文本编辑器来编辑Jupyter配置文件，如下所示:

到这里，你已经做好配置深度学习环境的准备了。

配置你的深度学习环境

我们接下来将要对你的基于GPU的深度学习环境进行必要的配置。如果你的虚拟服务器实例已经配置好CUDA（Compute Unified Device Architecture-通用计算设备架构）和cuDNN（CUDA Deep Neural Network library-深度神经网络加速库），那你可以根据需要跳过下面的一些步骤。

1.安装图形驱动程序

首先确保GPU安装了相应的图形驱动程序。对于NVIDIA的GPU，我们可以通过nvidia-smi命令进行驱动程序安装验证，如果该命令显示无法找到，则表明系统没有安装GPU驱动程序，正常输出如下图所示：

2.安装CUDA

Nvidia的CUDA工具包基本上是一个开发环境，它能够最大限度地利用NVIDIA GPU。CUDA加速库可以让你在不改动代码的前提下直接应用到多个领域：线性代数、图像和视频处理、深度学习和图形分析等。假设我们使用Ubuntu的系统，你可以进入官方的NVIDIA CUDA页面并下载必要的安装文件。在写本文的时候，因为CUDA 10刚刚发布，我们因此使用了老版本的CUDA 9.0，你可以从历史版本页面下载。如果你是在一个远程服务器上运行，可参照下图，使用终端直接下载安装文件并配置。

3.安装cuDNN

cuDNN是一个针对深度神经网络的GPU加速类库。cuDNN库为神经网络中的标准例程提供了一个高度调优的实现，包括前向和后向卷积、池化层、归一化和激活函数层。深度学习从业者可以完全依靠cuDNN，它极大地加速了使用GPU的深度学习框架。你可以从官方页面下载，但首先要注册一个NVIDIA帐户。你可以得到一个cuDNN的下载链接，然后就可以在远程服务器终端上直接下载。

到这里，我们就完成了所有与GPU相关的设置。

4.安装深度学习框架

现在，我们需要安装和设置基于Python的深度学习框架。我们通常使用Keras或Tensorflow框架，下面的命令可以帮助我们在环境中安装这些框架。

访问你的深度学习云环境

没有人想直接使用服务器的终端编写代码，使用Jupyter Notebook进行交互式开发显然是一个更好的选择。为此，我们需要通过本地系统访问云服务器上的Notebook。当然，我们首先要在远程实例上启动Jupyter Notebook服务器。

现在，如果你已经为实例分配了一个公共IP，并且绑定了公共端口8888，那你可以直接在本地浏览器上通过地址http://IP地址:8888访问云虚拟机中的Jupyter服务器！

另一种选择则是使用SSH隧道，即在本地实例上启用端口转发，从本地浏览器直接访问云端的Notebook，这对AWS实例尤其有用。

使用端口转发时，转到本地浏览器并输入到一个本地地址，例如，https://localhost:8890，浏览器将会导航到云虚拟机中的Notebook服务器。确保地址中使用了https，否则你将得到一个SSL错误。

验证GPU支持

最后一步为验证过程，确保我们的深度学习框架正在利用GPU(通常按小时收费)。以下代码可以帮助我们验证。

看来我们的环境已经使用GPU进行深度学习了！

搭建本地开发环境建议

很多时候，用户或组织可能并不希望使用云服务，尤其是当他们的数据非常敏感的时候，因此他们需要构建一个基于本地的深度学习环境。这里的重点是选择正确的硬件和软件类型，利用合适的GPU来建立深度学习模型，实现资源利用的最大化。关于硬件选择，特别强调以下几点:

处理器：你可以使用一个英特尔的i5或i7处理器，或者至强系列，如果你不在乎价格的话！
内存：至少使用32GB的DDR4、DDR5或更好的内存。
磁盘：一个1TB的硬盘，而且你可以使用至少128GB或256GB的固态硬盘来加速数据访问！
GPU：深度学习最重要的组成部分。购买一个至少高于GTX1070显存8GB的NVIDIA图形处理单元。

其他需要注意的东西还包括主板、电源供应、坚固的外壳，以及冷却器。一旦组装好机器，我们就可以重复上一节中的所有步骤完成软件配置，然后开始深度学习了！

结语

本实战指南旨在帮助开发人员、工程师和深度学习从业者能够在几分钟内建立自己的深度学习环境，零基础上手深度学习。不需要花费大量的时间在论坛和StackOverflow上阅读相关帖子。现在就让我们开始深度学习之旅吧！

英文原文地址：https://towardsdatascience.com/build-your-own-robust-deep-learning-environment-in-minutes-354cf140a5a6

更多内容，请关注AI前线公众号！

创作场景

几分钟搞定自己的深度学习开发环境，我是怎么做到的？